Ограниченные машины Больцмана для регрессии?

13

Я слежу за вопросом, который я задавал ранее по УКР . Я вижу много литературы, описывающей их, но ни одной, которая фактически говорит о регрессии (даже не классификация с помеченными данными). У меня такое ощущение, что он используется только для немаркированных данных. Есть ли ресурсы для обработки регрессии? Или это так же просто, как добавить еще один слой поверх скрытого слоя и запустить алгоритм CD вверх и вниз? Большое спасибо заранее.

брокколи
источник

Ответы:

18

Вы правы относительно немаркированных данных. УОКР - это генеративные модели, которые чаще всего используются в качестве учащихся без надзора.

При использовании для построения Deep Belief Network наиболее типичная процедура состоит в том, чтобы просто обучать каждый новый RBM по одному, когда они сложены друг на друга. Таким образом, противоречивая дивергенция не идет вверх и вниз в том смысле, который, я думаю, вы имеете в виду. Он работает только с одним RBM за один раз, используя скрытый слой предыдущего самого верхнего RBM в качестве входных данных для нового самого верхнего RBM. После всего этого вы можете рассматривать стек весов RBM в качестве начальных весов для стандартной нейронной сети с прямой связью и обучаться, используя ваши помеченные данные и обратное распространение, или делать что-то более экзотическое, например, использовать алгоритм пробуждения-сна. Обратите внимание, что мы не использовали никаких помеченных данных до этого последнего шага, что является одним из преимуществ этих типов моделей.

С другой стороны, есть несколько способов использовать RBM для классификации.

  • Обучите RBM или стек из нескольких RBM. Используйте самый верхний скрытый слой в качестве входных данных для другого контролируемого ученика.
  • Тренируйте RBM для каждого класса и используйте ненормализованные энергии в качестве входных данных для дискриминационного классификатора.
  • Тренируйте RBM, чтобы быть моделью плотности соединения P (X, Y). Затем, учитывая некоторый вход x, просто выберите класс y, который минимизирует энергетическую функцию (нормализация здесь не проблема, как в предыдущем примере, поскольку константа Z одинакова для всех классов).
  • Тренируй дискриминирующую RBM

Я настоятельно рекомендую вам прочитать технический отчет Джеффа Хинтона « Практическое руководство по обучению машин Больцмана с ограничениями ». Он обсуждает некоторые из этих вопросов более подробно, предоставляет бесценные советы, цитирует множество соответствующих статей и может помочь устранить любую другую путаницу, которая может возникнуть.

альт
источник
1
можно ли использовать RBM для регрессии?
оспинатор
Как вы обучаете RBM быть моделью плотности суставов? Предоставляя X и Y в качестве не скрытых входных данных, т.е. вы обучаете его быть P (X, Y | H) (H - скрытый слой)?
AkiRoss
Я сам отвечаю на свой комментарий: да, в «Практическом руководстве по обучению RBM» (Hinton, 2010), 3 метода, описанных выше, подробно объяснены, и в 3-м методе он говорит о наличии «двух наборов видимых». единиц ", где, помимо данных, представлена ​​единица метки softmax для представления класса.
AkiRoss
2

Пожалуйста, ознакомьтесь с реализацией, http://code.google.com/p/matrbm/ . Он имеет функцию классификации rmb fit, которую стоит рассмотреть. Также дайте мне знать, если вы найдете лучшие реализации DBN и RMB для классификации и регрессии.

Дипан Прабху Бабу
источник
0

Я думаю, что одним из способов тестирования нейронных сетей, таких как Restricted Boltzman Machine (RBM), является применение их к новым наборам данных или, как правило, к подмножеству общего набора данных, и просмотр их работы. Вы также можете протестировать модель с перекрестной проверкой. Я использовал популярный программный инструментарий с открытым исходным кодом для машинного обучения (ML), который прост в установке и использовании и позволяет легко тестировать многие типы алгоритмов ML по отдельности с использованием ряда статистических данных регрессии модели ( http: // www. cs.waikato.ac.nz/ml/weka/ ). Это может дать вам быстрый анализ без особого вмешательства, кроме основ работы с программой, хотя в зависимости от того, может быть, это не стоит того, если вам будет сложно отформатировать ваши данные (хотя обычно вы можете, например, google "csv to arff convert online") для одношагового форматирования).

Джейсон Албала
источник