Какова взаимосвязь между размером выборки и влиянием априора на заднюю?

Если у нас небольшой размер выборки, сильно ли повлияет предварительное распределение на последующее?

Да. Апостериорное распределение для параметра заданном наборе данных X можно записать в виде$\theta$${\bf X}$

$$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$$

или, как это чаще всего отображается на шкале журнала,

$$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$$

Логарифмическая вероятность, , масштабируется в зависимости от размера выборки , поскольку она является функцией данных, в то время как предыдущая плотность - нет. Следовательно, с увеличением размера выборки абсолютное значение L ( θ ; X ) увеличивается, в то время как log ( p ( θ ) ) остается фиксированным (для фиксированного значения θ ), таким образом, сумма L ( θ ; X$L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$$L(\theta;{\bf X})$$\log(p(\theta))$$\theta$ становится сильнее под влиянием L ( θ ; X$L(\theta;{\bf X}) + \log(p(\theta))$$L(\theta;{\bf X})$ при увеличении размера выборки.

Поэтому, чтобы прямо ответить на ваш вопрос - предварительное распределение становится все менее и менее актуальным, поскольку вероятность его перевешивает. Таким образом, для небольшого размера выборки предшествующее распределение играет гораздо большую роль. Это согласуется с интуицией, так как можно ожидать, что предыдущие спецификации будут играть большую роль, когда нет большого количества данных, чтобы их опровергнуть, тогда как, если размер выборки очень велик, сигнал, присутствующий в данных, перевесит любые априорные значения. убеждения были заложены в модель.

Вот попытка проиллюстрировать последний абзац в превосходном (+1) ответе Макроса. Он показывает два априора для параметра в распределении B i n o m i a l ( n , p ) . Для нескольких различных n задние распределения показаны, когда наблюдается x = n / 2 . В п растет, оба апостериорные становятся все более и более сосредоточены вокруг 1 / 2 .$p$${\rm Binomial}(n,p)$$n$$x=n/2$$n$$1/2$

$n=2$$n=50$ разницы практически нет.

${\rm Beta(1/2,1/2)}$${\rm Beta(2,2)}$

$n=50$