Разъяснение максимизации ожидания

Я нашел очень полезное руководство по алгоритму EM .

Пример и картинка из урока просто великолепны.

Связанный вопрос о вычислении вероятностей, как работает максимизация ожидания?

У меня есть еще один вопрос относительно того, как связать теорию, описанную в руководстве, с примером.

На этапе E EM выбирает функцию которая нижние границы и для которых .$g_t$$\log P(x;\Theta)$$g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

Так что же такое в нашем примере, и похоже, что он должен быть разным для каждой итерации.$g_t$

Кроме того, в примере и затем применяя их к данным, мы получаем, что и . Что для меня выглядит противоинтуитивно. У нас были некоторые предварительные предположения, мы применили их к данным и получили новые предположения, поэтому данные каким-то образом изменили предположения. Я не понимаю, почему не равно .$\hat{\Theta}_A^{(0)} = 0.6$$\hat{\Theta}_B^{(0)} = 0.5$$\hat{\Theta}_A^{(1)} = 0.71$$\hat{\Theta}_B^{(1)} = 0.58$$\hat{\Theta}^{(0)}$$\hat{\Theta}^{(1)}$

Кроме того, возникает больше вопросов, когда вы видите дополнительное примечание 1 к этому учебному пособию. Например, что такое в нашем случае. Мне не понятно, почему неравенство жесткое, когда$Q(z)$$Q(z)=P(z|x;\Theta)$

Спасибо.

Я нашел эти заметки очень полезными для выяснения того, что происходит в дополнительном материале.

Я отвечу на эти вопросы немного не в порядке для преемственности.

---

Первое: почему так

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$$\log(P(x;\theta))$$\theta^{(0)}$$\theta^{(1)}$$g_0$$\theta$

---

Второе: почему неравенство жесткое, когда

$$Q(z) = P(z|x;\theta)$$

В сносках есть подсказка, где говорится:

равенство выполняется тогда и только тогда, когда случайная величина постоянна с вероятностью 1 (т. е. )$y=E[y]$

подразумевая, что наш выбор делает постоянным. Чтобы увидеть это, подумайте, что:$Q$$\frac{P(x, z; \theta)}{Q(z)}$

$$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$$

что делает нашу фракцию

$$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$$

Так что же такое и является ли оно постоянным? Хорошо, учтите, что мы вычисляем суммы по для которых этот член независим (постоянен). Давайте представим это как и это уравнение становится:$P(x; \theta)$$z$$C$

$$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$$

отсюда мы можем довольно быстро увидеть, что две стороны равны, так как ожидание постоянной будет такой постоянной независимо от веса ( )$Q(z)$

---

И наконец: что такое$g_t$

Ответ, приведенный в примечаниях, которые я связал, немного отличается от ответа в дополнительных примечаниях, но они отличаются только константой, и мы максимизируем его, поэтому он не имеет значения. Тот, что в примечаниях (с деривацией):

$$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$$

Эта сложная формула не обсуждается подробно в дополнительных примечаниях, вероятно потому, что многие из этих терминов будут константами, которые выбрасываются, когда мы максимизируем. Если вам интересно, как мы сюда попали, я рекомендую эти заметки, которые я связал.

Используя аргумент, аналогичный приведенному в ответе на второй вопрос, термин в журнале равен 1 для поэтому сумма в сумме исчезает и как и ожидалось.$g_t(\theta^{(t)})$$g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$