Помощь в максимизации ожидания от бумаги: как включить предварительное распространение?

9

Вопрос основан на статье под названием «Восстановление изображений в диффузной оптической томографии с использованием связанной излучательной транспортно-диффузионной модели».

Ссылка на скачивание

Авторы применяют EM-алгоритм с разреженности неизвестного вектора \ mu для оценки пикселей изображения. Модель даетсяl1μ

(1)y=Aμ+e
Оценка дана в уравнении (8) как

(2)μ^=argmaxlnp(y|μ)+γlnp(μ)

В моем случае я рассмотрел μ как фильтр длины L а μ являются векторами L×1 представляющими фильтры. Так,

Модель может быть переписана как

(3)y(n)=μTa(n)+v(n)

Вопрос: Постановка задачи: μ(n) (n на 1) - ненаблюдаемый вход, а {e(n)} - нулевое среднее с неизвестной дисперсией σe2 аддитивного шума. Решение MLE будет основано на максимизации ожиданий (EM).

В статье уравнение (19) представляет собой функцию - полное логарифмическое правдоподобие, но для моего случая я не понимаю, как я могу включить распределение в полное логарифмическое выражение правдоподобия. A , μAA,μ

Какова будет полная логарифмическая вероятность использования EM of включая предыдущее распределение?y

SKM
источник
Вы действительно хотите правдоподобную вероятность или вместо этого заднюю часть журнала? Только последний будет включать лапласианский априор. Первое можно получить, взяв журнал правдоподобия, который, по-видимому, вы уже выписали
Я хочу получить два выражения: (1) одно будет использоваться для поиска информационной матрицы Фишера, а (2) другое будет pdf полного набора данных, включающего скрытую переменную и наблюдения, являющиеся объединением плотность вероятности наблюдаемых данных как функция параметра . PDF-файл, который я написал, применим к модели MA для слепой оценки . Но как это будет отличаться для ограничения разреженности = до лапласиана, чтобы можно было найти информационную матрицу Фишера из частных производных логарифмического правдоподобия. θ θZθθ
SKM
@ Сиань: я не понимаю, как подключить 3 PDF, которые включают в себя в формулировке логарифмической вероятности. Я могу выработать максимизацию, которая состоит в том, чтобы взять частную производную и приравнять к нулю. Не могли бы вы поставить ответ с явно выраженным выражением правдоподобия. Это действительно поможет
SKM

Ответы:

3

Если мы рассмотрим цель как представление в основе EM есть для произвольного из-за разложения или который работает для произвольного значения (поскольку на lhs его нет) ) и, следовательно, также работает для любого ожидания в :

argmaxθL(θ|x)π(θ)=argmaxθlogL(θ|x)+logπ(θ)
θ q ( z | x , θ ) = f ( x , z | θ ) / g ( x | θ ) g ( x | θ ) = f ( x , z | θ ) / q ( z | х ,
logL(θ|x)=E[logL(θ|x,Z)|x,θ]E[logq(Z|x,θ)|x,θ]
θ
q(z|x,θ)=f(x,z|θ)/g(x|θ)
g(x|θ)=f(x,z|θ)/q(z|x,θ)
zZ
logg(x|θ)=logf(x,z|θ)logq(z|x,θ)=E[logf(x,Z|θ)logq(Z|x,θ)|x]
для любого условного распределения заданного , например, . Поэтому, если мы максимизируем в с решением мы имеем то время как стандартными аргументами EM. Следовательно, ZX=xq(z|x,θ)θ
E[logL(θ|x,Z)|x,θ]+logπ(θ)
θ1
E[logL(θ1|x,Z)|x,θ]+logπ(θ1)E[logL(θ|x,Z)|x,θ]+logπ(θ)
E[logq(Z|x,θ)|x,θ]E[logq(Z|x,θ1)|x,θ]
E[logL(θ1|x,Z)|x,θ]+logπ(θ1)E[logL(θ|x,Z)|x,θ]+logπ(θ)
и использование в качестве шага E цели приводит к увеличению апостериорного значения в каждом M шаг, означающий, что модифицированный алгоритм EM сходится к локальной MAP.
E[logL(θ|x,Z)|x,θ]+logπ(θ)
Сиань
источник
Спасибо за ваш ответ. Представляет ли PDF из ? Не могли бы вы, пожалуйста, почему есть 2 ожидания, когда Вычитается в уравнении, упомянутом во второй строке? Z E [ l o g q ( . ) ]q()ZE[logq(.)]
SKM
Я добавил некоторые пояснения, но вы должны проверить в учебнике вывод алгоритма EM, поскольку это стандартный материал.
Сиань
1

Я не думаю, что показ монотонного увеличения log-posterior (или логарифмической вероятности для MLE) достаточен для того, чтобы показать сходимость к стационарной точке оценки MAP (или MLE). Например, приращения могут стать сколь угодно малыми. В известной работе Ву 1983 г. достаточным условием сходимости к стационарной точке ЭМ является дифференцируемость в обоих аргументах функции нижней границы.

Jim.Z
источник