Какова взаимосвязь между размером выборки и влиянием априора на заднюю?

17

Если у нас небольшой размер выборки, сильно ли повлияет предварительное распределение на последующее?

Тоби Дж
источник
5
Интуиция ясна: чем больше у вас данных, тем меньше вы должны полагаться на своих приоров. Не просто урок статистики, а урок жизни! ;)
Лукас Рейс

Ответы:

27

Да. Апостериорное распределение для параметра заданном наборе данных X можно записать в видеθИкс

п(θ|Икс)αп(Икс|θ)LяКеLячасооdп(θ)пряор

или, как это чаще всего отображается на шкале журнала,

журнал(п(θ|Икс))знак равнос+L(θ;Икс)+журнал(п(θ))

Логарифмическая вероятность, , масштабируется в зависимости от размера выборки , поскольку она является функцией данных, в то время как предыдущая плотность - нет. Следовательно, с увеличением размера выборки абсолютное значение L ( θ ; X ) увеличивается, в то время как log ( p ( θ ) ) остается фиксированным (для фиксированного значения θ ), таким образом, сумма L ( θ ; X +)L(θ;Икс)знак равножурнал(п(Икс|θ))L(θ;Икс)журнал(п(θ))θ становится сильнее под влиянием L ( θ ; X )L(θ;X)+log(p(θ))L(θ;X) при увеличении размера выборки.

Поэтому, чтобы прямо ответить на ваш вопрос - предварительное распределение становится все менее и менее актуальным, поскольку вероятность его перевешивает. Таким образом, для небольшого размера выборки предшествующее распределение играет гораздо большую роль. Это согласуется с интуицией, так как можно ожидать, что предыдущие спецификации будут играть большую роль, когда нет большого количества данных, чтобы их опровергнуть, тогда как, если размер выборки очень велик, сигнал, присутствующий в данных, перевесит любые априорные значения. убеждения были заложены в модель.

макрос
источник
6
+1 Обратите внимание, что также зависит от n . cn
20

Вот попытка проиллюстрировать последний абзац в превосходном (+1) ответе Макроса. Он показывает два априора для параметра в распределении B i n o m i a l ( n , p ) . Для нескольких различных n задние распределения показаны, когда наблюдается x = n / 2 . В п растет, оба апостериорные становятся все более и более сосредоточены вокруг 1 / 2 .пВяNомяaL(N,п)NИксзнак равноN/2N1/2

Nзнак равно2Nзнак равно50 разницы практически нет.

ВеTa(1/2,1/2)ВеTa(2,2)

Задние распределения

Nзнак равно50

MånsT
источник
4
Очень классные иллюстрации, @ MånsT. В вашем ответе я выделил курсивом слова «бета» и «бином» - надеюсь, вы не возражаете.
Макро
Конечно нет, @Macro! Я согласен, что так выглядит лучше.
MånsT