Это практическая проблема для промежуточного экзамена. Проблема в примере алгоритма EM. У меня проблемы с частью (е). Я перечисляю части (a) - (e) для завершения и в случае, если я допустил ошибку ранее.
Пусть - независимые экспоненциальные случайные величины со скоростью . К сожалению, фактические значения не наблюдаются, и мы только наблюдаем, попадают ли значения в определенные интервалы. Пусть , и для . Наблюдаемые данные состоят из .X1,…,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2}G3j=1{Xj>2}j=1,…,n(G1j,G2j,G3j)
(а) Дайте наблюдаемую вероятность данных:
L(θ|G)=∏j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=∏j=1n(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3j
(б) Дайте полную вероятность данных
L(θ|X,G)=∏j=1n(θe−θxj)G1j(θe−θxj)G2j(θe−θxj)G3j
(c) Выведите прогнозную плотность скрытой переменной f(xj|G,θ)
f(xj|G,θ)=fX,G(xj,g)fG(g)=θe−θxj1{xj∈region r s.t. Grj=1}(1−e−θ)g1j(e−θ−e−2θ)g2j(e−2θ)g3j
(г) Электронный шаг. Дайте функциюQ(θ,θi)
Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ−e−2θ)−N3loge−2θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ(1−e−θ))+2θN3=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3
гдеN1=∑nj=1g1j,N2=∑nj=1g2j,N3=∑nj=1g3j
(e) Дайте выражения для для . r = 1 , 2 , 3E[Xj|Grj=1,θi]r=1,2,3
Я перечислю свои результаты, которые, я уверен, верны, но вывод будет немного длинным для этого и без того непростого вопроса:
E[Xj|G1j=1,θi]E[Xj|G2j=1,θi]E[Xj|G3j=1,θi]=(11−e−θi)(1θi−e−θi(1+1/θi))=(1e−θi−e−2θi)(e−θi(1+1/θi)−e−2θi(2+1/θi))=(1e−2θi)(e−2θi(2+1/θi))
Это часть, на которой я застрял, и это может быть из-за более ранней ошибки:
(е) M-Step. Найдите которая максимизируетQ ( θ , θ i )θQ(θ,θi)
Из закона полного ожидания мы имеем
ThereforE[Xj|G,θi]=(1θi−e−θi(1+1/θi))+(e−θi(1+1/θi)−e−2θi(2+1/θi))+(e−2θi(2+1/θi))=1/θi
Q(θ,θi)∂Q(θ,θi)∂θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nlogθ−θnθi−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nθ−nθi−(N1+N2)e−θ1−e−θ+N2+2N3
Затем я должен установить это значение равным нулю и решить для , но я пробовал это в течение очень долгого времени, и я не могу решить для !θθθ
Ответы:
Полная вероятность данных не должна включать G! Это просто должно быть вероятностью когда являются экспоненциальными. Обратите внимание, что полная вероятность данных, которую вы записали, упрощается до экспоненциальной вероятности, поскольку только один из может равняться 1. Однако, если оставить в полной вероятности данных, это может вас испортить позже. X G r j Gθ X Grj G
В части (d) следует учитывать ожидание полной вероятности регистрации данных, а не наблюдаемую вероятность регистрации данных.
Кроме того, вы не должны использовать закон полного ожидания! Напомним, что G наблюдается и не является случайным, поэтому вы должны выполнять только одно из этих условных ожиданий для каждого . Просто замените это условное ожидание термином и затем выполните M-шаг.X ( i ) jXj X(i)j
источник
На основании комментариев @ jsk я постараюсь исправить свои ошибки:
Решая для мы получаемθ ( i + 1 ) = nθ θ(i+1)=nN1A+N2B+N3C
источник