В чем разница между задним и задним предиктивным распределением?

31

Я понимаю, что такое апостериор, но я не уверен, что означает последний?

Чем отличаются 2?

Кевин П. Мерфи указал в своем учебнике « Машинное обучение: вероятностная перспектива» , что это «состояние внутреннего убеждения». Что это на самом деле означает? У меня сложилось впечатление, что Приор олицетворяет ваше внутреннее убеждение или предвзятость, где я ошибаюсь?

ОБЪЯВЛЕНИЕ
источник

Ответы:

36

Простое различие между ними заключается в том, что апостериорное распределение зависит от неизвестного параметра , т. Е. Апостериорное распределение: где - нормализующая константа.θ

p(θ|x)=c×p(x|θ)p(θ)
c

С другой стороны, апостериорное предиктивное распределение не зависит от неизвестного параметра потому что оно интегрировано, т. Е. Апостериорное предиктивное распределение: θ

p(x|x)=Θc×p(x,θ|x)dθ=Θc×p(x|θ)p(θ|x)dθ

где - новая ненаблюдаемая случайная величина и не зависит от .xx

Я не буду останавливаться на объяснении апостериорного распределения, поскольку вы говорите, что понимаете его, но апостериорное распределение «является распределением неизвестной величины, рассматриваемой как случайная величина, зависящая от полученных доказательств» (Википедия). Так что в основном это распределение, которое объясняет ваш неизвестный, случайный, параметр.

С другой стороны, апостериорное предиктивное распределение имеет совершенно другое значение в том смысле, что оно является распределением будущих прогнозируемых данных на основе данных, которые вы уже видели. Таким образом, апостериорное предиктивное распределение в основном используется для прогнозирования новых значений данных.

Если это помогает, приведем пример графика апостериорного распределения и апостериорного апостериорного распределения:

введите описание изображения здесь

введите описание изображения здесь

Цзиньхуа Ван
источник
3
Этот апостериорный прогнозный график распределения нуждается в новых метках оси и заголовке или чем-то подобном. Я понял эту идею, потому что я знаю, что такое апостериорное предиктивное распределение, но тот, кто только вычисляет его, может серьезно запутаться.
Cyan
Спасибо @BabakP. Не могли бы вы также указать мне, какой дистрибутив вы использовали для построения PMF тета, и P (x * | theta)
нашей эры
... потому что я хотел бы проработать полный пример.
нашей эры
Я просто притворился, что мой зад был бета (3,2). Я на самом деле ничего не получалось. Но, конечно, если вам нужен пример, предположите, что вероятность - это бином (n, p), а предшествующее значение p - бета (a, b), тогда вы сможете получить, что апостериор снова является бета-распределением ,
Кроме того, этот апостериорный прогноз не из легких. Я просто взял график из некоторого кода Гауссова процесса, который я написал для апостериорного прогнозирования GP. И с учетом сказанного, что задний и задний прогнозирующие сюжеты, приведенные выше, на самом деле не соответствуют заднему показанному, они оба произвольны.
11

Прогнозирующее распределение обычно используется, когда вы узнали апостериорное распределение для параметра некоторой прогнозной модели. Например, в байесовской линейной регрессии вы изучаете апостериорное распределение по параметру w модели y = wX, учитывая некоторые наблюдаемые данные X.
Затем, когда появляется новая невидимая точка данных x *, вы хотите найти распределение по возможным предсказаниям y * учитывая апостериорное распределение для w, которое вы только что узнали. Это распределение по возможным y * с учетом апостериорного значения для w является распределением предсказания.

user1893354
источник
5

Они относятся к распределению двух разных вещей.

Апостериорное распределение относится к распределению параметра , в то время как прогнозное апостериорное распределение (PPD) относится к распределению будущих наблюдений данных .

SPMQET
источник