Разъяснение максимизации ожидания

11

Я нашел очень полезное руководство по алгоритму EM .

Пример и картинка из урока просто великолепны.

введите описание изображения здесь

Связанный вопрос о вычислении вероятностей, как работает максимизация ожидания?

У меня есть еще один вопрос относительно того, как связать теорию, описанную в руководстве, с примером.

На этапе E EM выбирает функцию которая нижние границы и для которых .граммTжурналп(Икс;Θ)граммT(Θ^(T))знак равножурналп(Икс;Θ^(T))

Так что же такое в нашем примере, и похоже, что он должен быть разным для каждой итерации.граммT

Кроме того, в примере и затем применяя их к данным, мы получаем, что и . Что для меня выглядит противоинтуитивно. У нас были некоторые предварительные предположения, мы применили их к данным и получили новые предположения, поэтому данные каким-то образом изменили предположения. Я не понимаю, почему не равно .Θ^A(0)знак равно0.6Θ^В(0)знак равно0,5Θ^A(1)знак равно0,71Θ^В(1)знак равно0,58Θ^(0)Θ^(1)

Кроме того, возникает больше вопросов, когда вы видите дополнительное примечание 1 к этому учебному пособию. Например, что такое в нашем случае. Мне не понятно, почему неравенство жесткое, когдаQ(Z)Q(Z)знак равноп(Z|Икс;Θ)

Спасибо.

user16168
источник

Ответы:

1

Я нашел эти заметки очень полезными для выяснения того, что происходит в дополнительном материале.

Я отвечу на эти вопросы немного не в порядке для преемственности.


Первое: почему так

θ(0)θ(1)

грамм0журнал(п(Икс;θ))θ(0)θ(1)грамм0θ


Второе: почему неравенство жесткое, когда

Q(Z)знак равноп(Z|Икс;θ)

В сносках есть подсказка, где говорится:

равенство выполняется тогда и только тогда, когда случайная величина постоянна с вероятностью 1 (т. е. )Yзнак равноЕ[Y]

подразумевая, что наш выбор делает постоянным. Чтобы увидеть это, подумайте, что:Qп(Икс,Z;θ)Q(Z)

п(Икс,Z;θ)знак равноп(Z|Икс;θ)п(Икс;θ)

что делает нашу фракцию

п(Z|Икс;θ)п(Икс;θ)п(Z|Икс;θ)знак равноп(Икс;θ)

Так что же такое и является ли оно постоянным? Хорошо, учтите, что мы вычисляем суммы по для которых этот член независим (постоянен). Давайте представим это как и это уравнение становится:п(Икс;θ)ZС

журнал(ΣZQ(Z)С)ΣZQ(Z)журнал(С)

отсюда мы можем довольно быстро увидеть, что две стороны равны, так как ожидание постоянной будет такой постоянной независимо от веса ( )Q(Z)


И наконец: что такоеграммT

Ответ, приведенный в примечаниях, которые я связал, немного отличается от ответа в дополнительных примечаниях, но они отличаются только константой, и мы максимизируем его, поэтому он не имеет значения. Тот, что в примечаниях (с деривацией):

граммT(θ)знак равножурнал(п(Икс|θ(T)))+ΣZп(Z|Икс;θ(T))журнал(п(Икс|Z;θ)п(Z|θ)п(Z|Икс;θ(T))п(Икс|θ(T)))

Эта сложная формула не обсуждается подробно в дополнительных примечаниях, вероятно потому, что многие из этих терминов будут константами, которые выбрасываются, когда мы максимизируем. Если вам интересно, как мы сюда попали, я рекомендую эти заметки, которые я связал.

Используя аргумент, аналогичный приведенному в ответе на второй вопрос, термин в журнале равен 1 для поэтому сумма в сумме исчезает и как и ожидалось.граммT(θ(T))граммT(θ(T))знак равножурналп(Икс|θ(T))

Майк
источник