Может ли надлежащая априорная и возведенная в степень вероятность привести к неправильной апостериорной?

11

(Этот вопрос навеян этот комментарий от Сианя .)

Хорошо известно, что если предварительное распределение π(θ) является правильным и вероятность L(θ|x) хорошо определена, то апостериорное распределение π(θ|x)π(θ)L(θ|x) почти наверняка.

В некоторых случаях мы используем вместо этого умеренную или возведенную в степень вероятность, приводящую к псевдо-задней

π~(θ|x)π(θ)L(θ|x)α
для некоторогоα>0(например, это может иметь вычислительные преимущества).

В этой ситуации возможно ли иметь надлежащий априорный, но неправильный псевдо-задний?

Робин Райдер
источник
2
На самом деле, спустя несколько минут я бы счел это маловероятным, поскольку расхождение предыдущего продукта x-правдоподобия уменьшается при рассмотрении предыдущего продукта x-правдоподобия ^ α ... Любая крачка, уходящая в бесконечность, идет туда медленнее! А сроки, идущие к нулю медленнее, контролируются соответствующим априором. Моя ставка такова, что это невозможно. (предупреждение: я был признан неправым!)
Сиань
1
Возможно , полезным в поиске контрпример при : неравенство Маркова говорит нам , что E θ ~ π [ L ( х | θ ) α ]T α P θ ~ π ( L ( х | θ ) > т )α>1Так что, если вы можете найти случай, когдаL(x | θ)имеет многочлен хвосты, то вы можете построить неправильный псевдо-задний.
Еθ~π[L(Икс|θ)α]Tαпθ~π(L(Икс|θ)>T)Еθ~π[L(Икс|θ)α]вирT>0Tαпθ~π(L(Икс|θ)>T)
L(Икс|θ)
№8
Будет ли этот аргумент работать и для ? Кроме того, есть ли способ доказать, что вероятность, построенная таким образом, будет правильной? α<1
InfProbSciX,
1
На самом деле, для , так как мы знаем, что E π [ L ( x | θ ) ] < , супремум на RHS всегда конечен, а для α < 1 используется ваш аргумент Дженсена, чтобы сделать тот же вывод. Таким образом, аргумент не в этом отношении. Небольшое замечание, что этот аргумент требует неограниченного правдоподобия L для успеха, то есть P π ( L ( x | θ ) > t ) > 0 для всех t .αзнак равно1Еπ[L(Икс|θ)]<α<1Lпπ(L(Икс|θ)>T)>0T
8
1
Правда, для вы не можете построить один хороший момент! Должен сказать, я был бы рад увидеть пример неограниченной вероятности! Возможно, бета-апостериор был бы результатом неограниченной вероятности. α=1
InfProbSciX,

Ответы:

7

Возможно, для α1 это аргумент, показывающий, что невозможно построить такой апостериор?

Мы хотели бы выяснить, возможно ли это для π~(θ|Икс)dθзнак равно .

На RHS:

π(θ)Lα(θ|Икс)dθзнак равноЕθ(Lα(θ|Икс))

Если α1 , Иксα - вогнутая функция, то по неравенству Дженсена:

Еθ(Lα(θ|Икс))Еθα(L(θ|Икс))знак равном(Икс)α<

... где м(Икс) как указал Сиань, - нормализующая константа (свидетельство).

InfProbSciX
источник
Аккуратно, спасибо Мне нравится, что вы используете тот факт, что для апостериор является правильным. αзнак равно1
Робин Райдер
1

Можно использовать результат в ответе @ InfProbSciX для подтверждения результата в целом. Перепишите L(θx)απ(θ) как

L(θx)α1L(θx)π(θ),
Если 1α2 , мы имеем случай неравенства Дженсена выше, так как мы знаем, что L(x|θ)π(θ) Является normalisable. Аналогично, если 2α3 , мы можем записать
L(Икс|θ)α-пL(Икс|θ)пπ(θ),
причем 1п2 , снова попадая в тот же случай, так как мы знаем что L(Икс|θ)пπ(θ) нормализуемо. Теперь можно использовать (сильную) индукцию, чтобы показать случай в целом.

Старые комментарии

Не уверен, что это супер полезно, но так как я не могу комментировать, я оставлю это в ответе. В дополнение к превосходному замечанию @ InfProbSciX о α1 , если сделать дополнительное предположение, что L(θ|Икс)Lп , то невозможно иметь правильный априорный, но неправильный псевдо-задний для 1<αп , Например, если мы знаем, что второй ( п ) момент L(θ|Икс) существует, мы знаем, что он находится в L2 ( Lп) и, следовательно, псевдо-апостериор будет подходящим для 0α2 . Раздел 1 в этих заметках посвящен чуть более подробно, но, к сожалению, неясно, насколько широк, скажем, L10 pdfs. Я прошу прощения, если я говорю вне очереди здесь, я действительно хотел оставить это в качестве комментария.

Луис Макс Карвалью
источник
1
Вы правы, если функция правдоподобия находится в пространстве L p ( π θ ) - т.е. пространство L p по мере, индуцированной предыдущим, то апостериор будет правильным для 1 α стр . Я полностью догадываюсь здесь, но я думаю, что пространство будет охватывать большинство вероятностей, о которых мы можем подумать - я думаю, что я мог бы прочитать доказательство давным-давно, которое говорит, что если f интегрируемо по Риману, то и его положительные степени также. f n , n Z +L(θ|Икс)Lп(πθ)Lп1αпееN,NZ+хотя интегрируемо Теорема 1.26 для справки
InfProbSciX
@InfProbSciX, я думаю, что в тени может быть полное доказательство. Я беру из вашего ответа, что может быть отрицательным. Если это правильно, то мы можем показать, что для любого p > 1 псевдосовместимость будет интегрируемой, потому что обратные значения интегрируемых функций интегрируемы. И если вероятность интегрируема, я утверждаю, что апостериор будет интегрируемым, потому что априор ограничен, а произведение интегрируемой и ограниченной функции интегрируемо ( math.stackexchange.com/a/56008/271610 ). Дайте мне знать, что вы думаете. αп>1
Луис Макс Карвалью,
1
α<0LαВеTa(0,5,0,5)
α<0α>1е1/е
Извините, я пропустил это, да, похоже, это будет интересная попытка!
InfProbSciX