Мы знаем, что в случае правильного предварительного распределения,
.
Обычное обоснование этого шага состоит в том, что предельное распределение , , является постоянным по отношению к и, таким образом, может быть проигнорировано при получении апостериорного распределения.
Тем не менее, в случае неправильного априора, как вы узнаете, что апостериорное распределение действительно существует? Кажется, в этом, казалось бы, круговом аргументе чего-то не хватает. Другими словами, если я предполагаю, что апостериор существует, я понимаю механизм получения апостериорного, но, похоже, мне не хватает теоретического обоснования того, почему он вообще существует.
PS Я также признаю, что есть случаи, когда неправильный априор приводит к неправильному заднему.
Есть «теоретический» ответ и «прагматичный».
С теоретической точки зрения, когда априор неправильный, апостериор не существует (хорошо, посмотрите на ответ Мэтью для более громкого высказывания), но он может быть аппроксимирован ограничительной формой.
Если данные включают в себя условно выбранную выборку из распределения Бернулли с параметром , и θ имеет бета-распределение с параметрами α и β , апостериорное распределение θ является бета-распределением с параметрами α + s , β + n - s ( n наблюдения, ˙s успехи) и его среднее значение ( α + s ) / ( α + β + п )θ θ α β θ α+s,β+n−s n s (α+s)/(α+β+n) , Если мы используем распределение неправильной (и нереальная) беты перед с предыдущим hypeparameters , и вид , что П ( & thetas ; ) & alpha ; & thetas ; - 1 ( 1 - θ ) n - s - 1 , т.е. pdf бета-распределения с параметрами s и n - sα=β=0 , мы получаем правильный апостериор, пропорциональный θ s - 1 (π(θ)∝θ−1(1−θ)−1 θs−1(1−θ)n−s−1 s n−s за исключением постоянного фактора. Это предельная форма апостериора для бета-версии с параметрами и β → 0 (Degroot & Schervish, пример 7.3.13).α→0 β→0
В нормальной модели со средним значением , известной дисперсией σ 2 и предварительным распределением N ( μ 0 , τ 2 0 ) для θ , если предыдущая точность 1 / τ 2 0 мала по сравнению с точностью данных, n / σ 2 , то апостериорное распределение примерно такое, как если бы τ 2 0 = ∞ : p ( θ ∣ x ) ≈ N ( θ ∣ ˉθ σ2 N(μ0,τ20) θ 1/τ20 n/σ2 τ20=∞
т. е. апостериорное распределение примерно такое же, как если бы
С "прагматической" точки зрения, при р ( х | θ ) = 0 независимо от р ( θ ) есть, так что если р ( х | θ ) ≠ 0 в ( , б ) , тогда ∫p(x∣θ)p(θ)=0 p(x∣θ)=0 p(θ) p(x∣θ)≠0 (a,b) . Неправильные априорные значения могут использоваться для представлениялокальногоповедения предшествующего распределения в области, где вероятность является значительной, скажем, ( a , b ) . Предполагая, что в достаточном приближении априор следует следующим формам, таким как f ( x ) = k , x ∈ ( - ∞ , ∞ ) или f∫∞−∞p(x∣θ)p(θ)dθ=∫bap(x∣θ)p(θ)dθ (a,b) f(x)=k,x∈(−∞,∞) f(x)=kx−1,x∈(0,∞) (a,b) θ U(−∞,∞) (a,b) θ∼U(a,b) p(x∣θ)p(θ)=p(x∣θ)k∝p(x∣θ)
источник
The posterior might not be proper either. If the prior is improper and the likelihood is flat (because there are no meaningful observations), then the posterior equals the prior and is also improper.
Usually you have some observations, and usually the likelihood is not flat, so the posterior is proper.
источник