Разница между неинформативными и неподходящими приорами

Интересно, в чем разница между этими двумя видами приоры:

Неинформативных
неподходящий

bayesian prior improper-prior Брэм
источник

Было бы полезно, если бы вы могли предоставить здесь некоторый контекст. Что вы уже поняли об этом? Есть ли особая путаница?

gung - Восстановить Монику

Соответствующие ссылки stats.stackexchange.com/questions/175792/… и stats.stackexchange.com/questions/133707/… и stats.stackexchange.com/questions/73490/…

Тим

@ Спасибо тебе. Я искал неинформативно, а не слабо информативно .

Брэм

Возможный дубликат Что такое «неинформативный априор»? Можем ли мы когда-нибудь иметь действительно без информации?

Сиань

Ответы:

Неправильными априорами являются конечные неотрицательные меры в пространстве параметров такие что Таким образом, они обобщают Понятие предварительного распределения, которое представляет собой распределение вероятностей в пространстве параметров такое что Они полезны в нескольких отношениях для характеристики $\sigma$ $\text{d}\pi$ $\Theta$

\int_{Θ} d π (θ) знак равно + \infty

$\int_\Theta \text{d}\pi(\theta) = +\infty$

Θ

$\Theta$

\int_{Θ} d π (θ) знак равно 1

$\int_\Theta \text{d}\pi(\theta) =1$

набор пределов надлежащих байесовских процедур, которые не являются всеми надлежащими байесовскими процедурами;
частые оптимальные процедуры, такие как (допустимость) полные теоремы класса, такие как Вальда;
наиболее частые инвариантные оценки (поскольку они могут быть выражены в виде байесовских оценок при соответствующей правой мере Хаара, как правило, неправильной);
априоры, полученные из формы функции правдоподобия, такие как неинформативные априоры (например, Джеффриса).

Поскольку они не интегрируются в конечное число, они не допускают вероятностной интерпретации, но, тем не менее, могут использоваться в статистическом выводе, если предельное правдоподобие конечно поскольку заднее распределение тогда будет четко определен. Это означает, что он может использоваться точно так же, как используется апостериорное распределение, полученное из надлежащего априора, для получения апостериорных величин для оценки, таких как апостериорные средние или задние вероятные интервалы.

\int_{Θ} ℓ (θ | Икс) d π (θ) < + \infty

$\int_\Theta \ell(\theta|x)\text{d}\pi(\theta) < +\infty$

\frac{ℓ (θ | Икс) d π (θ)}{\int_{Θ} ℓ (θ | Икс) d π (θ)}

$\dfrac{\ell(\theta|x)\text{d}\pi(\theta)}{\int_\Theta \ell(\theta|x)\text{d}\pi(\theta)}$

Предупреждение: одна ветвь байесовского вывода не очень хорошо справляется с неправильными априорами, а именно, при проверке точных гипотез. Действительно, эти гипотезы требуют построения двух предыдущих распределений, одно при нулевом, а другое при альтернативном, которые являются ортогональными. Если один из этих априоров неправильный, он не может быть нормализован, и результирующий байесовский фактор не определен.

В байесовской теории принятия решений при поиске оптимальной процедуры принятия решения под функцией потерь неправильный предшествующий полезен в случаях, когда задача минимизации допускает нетривиальное решение (даже если апостериорное распределение не определено). Причина этого различия заключается в том, что решение зависит только от произведения , что означает, что оно является инвариантным относительно изменений множителей при условии, что функция потерь делится на одни и те же мультипликативные термины , $\delta$ $L(d,\theta)$ $\text{d}\pi$

Arg \underset{d}{мин} \int_{Θ} L (d, θ) ℓ (θ | Икс) d π (θ)

$\arg \min_d \int_\Theta L(d,\theta)\ell(\theta|x)\text{d}\pi(\theta)$

L (d, θ) d π (θ)

$L(d,\theta)\text{d}\pi(\theta)$

ϖ (θ)

$\varpi(\theta)$

ϖ (θ)

$\varpi(\theta)$

L (d, θ) d π (θ) знак равно \frac{L (d, θ)}{π (θ)} \times π (θ) d π (θ)

$L(d,\theta)\text{d}\pi(\theta)=\dfrac{L(d,\theta)}{\varpi(\theta)}\times\varpi(\theta)\text{d}\pi(\theta)$

Неинформативные априорные значения - это классы (правильных или неправильных) предыдущих распределений, которые определяются в терминах определенного информационного критерия, который относится к функции вероятности, например

Недостаточная причина Лапласа плоская до;
Джеффрис (1939) инвариантные приоры;
максимальные энтропийные (или MaxEnt) априоры (Jaynes, 1957);
минимальная длина описания описания (Rissanen, 1987; Grünwald, 2005);
эталонные априоры (Bernardo, 1979, 1781; Berger & Bernardo, 1992; Bernardo & Sun, 2012)
априорные вероятностные соответствия (Welsh & Peers, 1963; Scricciolo, 1999; Datta, 2005)

и дополнительные занятия, некоторые из которых описаны в Kass & Wasserman (1995). Название неинформативный является неправильным в том смысле, что ни один из предшествующих не является полностью неинформативным. Смотрите мое обсуждение на этом форуме. Или Ларри Вассермана диатриба . (Неинформативные приоры чаще всего неправильные.)

Сиань
источник

Строго говоря, неинформативный априор не является априорным распределением. Эта функция такова, что, если мы рассмотрим ее так, как если бы она была распределением, и применили формулу Байеса, мы получим определенное апостериорное распределение, целью которого является максимально возможное отражение информации, содержащейся в данных и только в данных, или для достижения хорошего свойства соответствия часто встречающемуся (т. е. процентный вероятный интервал приблизительно равен доверительному интервалу). $95\%$ $95\%$

Неинформативный априор часто является «неправильным». Распределение обладает хорошо известным свойством: его интеграл равен единице. Неинформативный априор называется неправильным, если его интеграл бесконечен (поэтому в таком случае ясно, что это не распределение).

Стефан Лоран
источник

Я считаю это определение «неинформативным» до того, как оно будет супер-ограничительным!

Сиань

@ Сиань Ввиду нехватки ОП, я думаю, что этот короткий ответ является весьма уместным.

Стефан Лоран

@ Сиань Это цитата Бернардо (более или менее). Я согласен ^^

Стефан Лоран

@ Сиань Я еще не дома, но, например, здесь Справочные постеры получены формальным использованием теоремы Байеса со справочной априорной функцией . Бенардо говорит, что ссылка предшествует функции , а не распределению.

Стефан Лоран

Более серьезно, @ Сиань, ты имеешь в виду, что это ограничивает бернардианские неинформативные приоры? Это верно, и, возможно, некоторые другие. Я знаю, что у тебя больше знаний, чем у меня в этой теме. Но я ориентируюсь на Бернардо (и подбираю приоры).

Стефан Лоран