Хороший учебник для ограниченных машин Больцмана (RBM)

Я изучаю ограниченную машину Больцмана (RBM) и у меня возникают некоторые проблемы с пониманием логарифмических расчетов вероятности относительно параметров RBM. Несмотря на то, что было опубликовано много исследовательских работ по УОКР, подробных шагов по производным инструментам нет. После поиска в Интернете я смог найти их в этом документе:

• Фишер А. & Игель С. (2012). Введение в ограниченные машины Больцмана. В L. Alvarez et al. (Ред.): CIARP, LNCS 7441, с. 14–36, Springer-Verlag: Берлин-Гейдельберг. ( pdf )

Однако детали этого документа слишком сложны для меня. Может кто-нибудь указать мне хороший учебник / набор лекционных заметок о RBM?

---

Изменить: @David, запутанный раздел показан ниже (уравнение 29 на странице 26):

$$\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$$

Я знаю, что уже немного поздно, но, возможно, это поможет. Чтобы получить первый член вашего уравнения, необходимо выполнить следующие шаги: Мы предположили, что условная независимость между скрытые единицы, учитывая видимые единицы, существуют. Таким образом, мы можем факторизовать условное совместное распределение вероятностей для скрытых состояний.

$$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$$ $$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$$ Последний член равен , так как мы суммируем по всем состояниям. Таким образом, то, что осталось, это первый член. Поскольку принимает только состояния и мы получаем: $1$$h_i$$1$$0$ $$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$$

1. На сайте глубокого обучения есть достойное руководство по RBM .

2. Этот пост в блоге ( Введение в ограниченные машины Больцмана ) написан на более простом языке и очень хорошо объясняет основы RBMS:

3. Также, возможно, лучшим справочником является курс Джеффа Хинтона « Нейронные сети» на Coursea:

   Я не уверен, если вы можете получить доступ к классу и видео после окончания класса, хотя.

Левый оранжевый прямоугольник показывает ожидаемое значение градиента энергии по всем скрытым конфигурациям, учитывая, что какой-то видимый вектор зафиксирован на видимых единицах (ожидание по данным, поскольку он использует выборку из вашего тренировочного набора). Сам термин является произведением (1) вероятности увидеть конкретную скрытую единицу i, учитывая, что некоторый вектор v зажат на видимых единицах и (2) состояние конкретной видимой единицы j.

Правый оранжевый прямоугольник - то же самое, что и левый, за исключением того, что вы делаете то, что находится в левом оранжевом прямоугольнике для каждой возможной видимой конфигурации, а не только тот, который закреплен на видимых единицах (ожидание по сравнению с моделью, поскольку ничего не зафиксировано). на видимых единицах).

Глава 5 курса Уго Ларошеля по машинному обучению ( видео ) - лучшее введение, которое я нашел до сих пор.

Производная от функции потерь не выводится в этих лекциях, но это не сложно сделать (я могу опубликовать просмотр моих расчетов, если это необходимо, но на самом деле это не так сложно). Я все еще ищу хороший учебник по этой теме, но в основном это только статьи. Есть хороший обзор статей в главе 20 книги глубокого обучения Бенджо.