Глубокие сети веры или Глубокие машины Больцмана?

Я запутался. Есть ли разница между глубокими сетями убеждений и глубокими машинами Больцмана? Если так, то в чем разница?

machine-learning deep-learning rbm deep-belief-networks Джек Твен
источник

статья в википедии о сетях глубокого убеждения достаточно ясна, хотя было бы полезно / полезно иметь более полное представление об этимологии / истории терминов. в основном, сеть глубокого убеждения довольно похожа на глубокую нейронную сеть из вероятностного анализа, и машины глубокого Больцмана являются одним из алгоритмов, используемых для реализации сети глубокого убеждения. по-видимому, все ANN имеют вероятностные интерпретации / модели, но их не так легко / напрямую получить, как некоторые байесовские / вероятностно-ориентированные модели «верования».

vzn

Ответы:

Хотя сети Deep Belief Networks (DBN) и Deep Boltzmann Machines (DBM) схематически выглядят очень похоже, на самом деле они качественно сильно различаются. Это потому, что DBN направлены, а DBM не направлены. Если бы мы хотели вписать их в более широкую картину ML, мы могли бы сказать, что DBN - это сигмоидальные сети убеждений со многими плотно связанными слоями скрытых переменных, а DBM - это марковские случайные поля со многими плотно связанными слоями скрытых переменных.

Как таковые они наследуют все свойства этих моделей. Например, в DBN-вычислениях , где - видимый уровень, а - скрытые переменные, - это просто. С другой стороны, вычисление чего-либо обычно вычислительно невозможно в DBM из-за неразрешимой функции разбиения. $P(v|h)$ $v$ $h$ $P$

Это, как говорится, есть сходство. Например:

DBN и оригинальная DBM работают с использованием схем инициализации, основанных на жадном послойном обучении машин Больцмана с ограничениями (RBM),
Они оба "глубокие".
Они оба имеют слои скрытых переменных, которые плотно связаны со слоями выше и ниже, но не имеют внутрислойных связей и т. Д.

альт
источник

Как ДБН могут быть сигмоидальными сетями убеждений? !! Слои DBN являются RBM, поэтому каждый слой является марковским случайным полем!

Джек Твен,

Я думаю, что здесь есть опечатка: «Это потому, что DBM направлены, а DBM не направлены». Я думаю, вы имели в виду, что DBN не являются ненаправленными

Джек Твен,

@AlexTwain Да, должен был прочитать "DBNs направлены". Даже если вы могли бы инициализировать DBN, сначала изучив группу RBM, в конце вы, как правило, развязываете веса и в итоге получаете глубокую сигмовидную сеть убеждений (направлено). Во многих оригинальных работах с DBN люди оставили верхний слой ненаправленным, а затем оштрафовали, настроив его на что-то вроде сна-бодрствования, и в этом случае у вас есть гибрид.

альт

Вы имеете в виду, что в 3. они не имеют внутрислойных «соединений» (например, между узлами в скрытом слое), а не «межслойных» (например, от входа к скрытому слою)?

ddiez

@ddiez Да, вот как это следует читать. Спасибо за исправление.

альт

Обе являются вероятностными графическими моделями, состоящими из сложенных слоев УОР. Разница в том, как эти слои связаны.

Эта ссылка достаточно понятна: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . Рисунок 2 и раздел 3.1 особенно актуальны.

Чтобы подвести итог:

В DBN соединения между слоями направлены. Следовательно, первые два уровня формируют RBM (неориентированная графическая модель), затем последующие уровни формируют направленную генеративную модель.

В DBM соединение между всеми уровнями является ненаправленным, поэтому каждая пара уровней образует RBM.

Darkensberge
источник

так что глубокая машина Больцмана все еще строится из УКР? Я основываю свой вывод на вступлении и изображении в газете

Марин