Я где-то читал, что вариационный метод Байеса является обобщением алгоритма EM. Действительно, итерационные части алгоритмов очень похожи. Чтобы проверить, является ли алгоритм EM специальной версией Вариационного Байеса, я попробовал следующее:
- данные, - коллекция скрытых переменных, а - параметры. В вариационном байесовском преобразовании мы можем сделать такое приближение, что . Где s - простые, поддающиеся распределению.Θ P ( X , Θ | Y ) ≈ Q X ( X ) Q Θ ( Θ ) Q
Поскольку EM-алгоритм находит точечную оценку MAP, я подумал, что вариационные байесовские преобразования могут сходиться к EM, если я использую дельта-функцию, такую что: , - это первая оценка параметров, как это обычно делается в EM.Θ 1
Когда , который минимизирует расхождение KL, находится по формуле Приведенная выше формула упрощается до , этот шаг оказывается эквивалентом шага Ожидания алгоритма EM!Q 1 X ( X ) Q 1 X ( X ) = exp ( E δ Θ 1 [ ln P ( X , Y , Θ ) ] ) Q 1 X (X)=P(X|Θ1,Y)
Но я не могу вывести шаг Максимизации как продолжение этого. На следующем шаге нам нужно вычислить и в соответствии с правилом вариации Байеса это:
Действительно ли алгоритмы VB и EM действительно связаны таким образом? Как мы можем вывести ЭМ как частный случай вариационных байесовских колебаний, верно ли мое решение?
источник
Ответы:
Ваш подход правильный. EM эквивалентно VB при условии, что приближенный апостериорный для ограничен точечной массой. (Это упоминается без доказательства на стр. 337 Байесовского анализа данных .) Пусть будет неизвестным местоположением этой точечной массы: VB будет минимизировать следующую KL-дивергенцию: Минимум над дает E-шаг EM, а минимум над дает M-шаг EM.Θ Θ*
Конечно, если бы вы действительно оценили расхождение KL, оно было бы бесконечным. Но это не проблема, если вы считаете дельта-функцию пределом.
источник