Понимание бета-конъюгата перед байесовским выводом о частоте

Ниже приведен отрывок из «Болстадского введения в байесовскую статистику» .

Для всех вас, экспертов, это может быть тривиально, но я не понимаю, как автор приходит к выводу, что нам не нужно делать какую-либо интеграцию для вычисления апостериорной вероятности для некоторого значения . Я понимаю второе выражение, которое представляет собой пропорциональность и откуда взяты все термины ( вероятность х Приор) . Кроме того, я понимаю, нам не нужно беспокоиться о знаменателе, поскольку только числитель прямо пропорционален. Но переходя к третьему уравнению , не забываем ли мы о знаменателе правила Байеса? Куда это делось? И значение, вычисляемое гамма-функциями, разве это не константа? Не исключают ли константы в теореме Байеса?$\pi$

Дело в том, что мы знаем, что апостериор пропорционален, и так получилось, что нам не нужно делать интегрирование, чтобы получить (постоянный) знаменатель, потому что мы признаем, что распределение с функцией плотности вероятности пропорционально (например, апостериорный) - это бета-версия. Поскольку нормализующая константа для такого бета-файла pdf равна , мы получаем задний pdf без интегрирования. И да, нормализующая константа в теореме Байеса - это константа (с учетом наблюдаемых данных и предполагаемого априора), такая же, как нормализующая константа для апостериорной плотности.Γ ( α + β $x^{\alpha-1} \times (1-x)^{\beta-1}$$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

Настройка

У вас есть эта модель: Плотности, для которых и, в частности, обратите внимание, что

$$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$$ $$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$$ $$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$$ $$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$$

Неявная версия

Теперь. Заднее распределение пропорционально априорному умноженному на вероятность . Мы можем игнорировать константы (то есть вещи, которые не являются ), давая: $f$$g$$p$

$$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$$

Он имеет «форму» бета-распределения с параметрами и , и мы знаем, какой должна быть соответствующая нормализующая константа для бета-распределения с этими параметрами: . Или, с точки зрения гамма-функций, Другими словами, мы можем сделать немного лучше, чем пропорциональное отношение, без лишних усилий и перейти к равенству: $\alpha + x$$\beta + n - x$$1 / B(\alpha + x, \beta + n - x)$

$$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$$ $$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$$

Таким образом, можно использовать знания о структуре бета-распределения, чтобы легко восстановить выражение для апостериорного, а не проходить через некоторую грязную интеграцию и тому подобное.

Это как бы обходит полный апостериор, неявно отменяя нормализующие константы совместного распределения, что может сбивать с толку.

Явная версия

Вы могли бы также разобраться с процедурой, которая может быть более ясной.

Это на самом деле не так уж много дольше. Обратите внимание, что мы можем выразить совместное распределение как и предельное распределение как

$$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$ $x$ $$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$$

Таким образом, мы можем выразить апостериор, используя теорему Байеса, через это то же самое, что мы получили ранее.

$$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$

Основные пометки

Чтобы сделать ответ, данный @ Björn, немного более явным и в то же время более общим, мы должны помнить, что мы пришли к теореме Байеса из

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Байес Терем)

где представляет наблюдаемые данные и наш неизвестный параметр, о котором мы хотели бы сделать вероятностные выводы - в случае вопроса параметр является неизвестной частотой . Давайте не будем сейчас волноваться, говорим ли мы о векторах или скалярах, чтобы все было просто.$X$$\theta$$\pi$

Маргинализация в непрерывном случае приводит к

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

где совместное распределение равно как мы видели выше. Это постоянная величина, поскольку после «интегрирования» параметра он зависит только от постоянных членов .$p(X,\theta)$$likelihood \times prior$

Поэтому мы можем переформулировать теорему Байеса как

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ с$Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

и , таким образом , приходим к обычной форме пропорциональности из байесовской теоремы .

Приложение к проблеме рукой

Теперь мы готовы просто включить то, что мы знаем, поскольку в вопросе имеет вид$likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

где , и где собирает постоянные члены из вероятности бинома и бета до.$a' = a+y$$b' = b+n-y$$A = \frac{1}{B(a,b)}\binom{n}{y}$

Теперь мы можем использовать ответ, заданный @ Björn, чтобы найти, что это интегрирует с бета-функцией умноженной на совокупность постоянных членов так что$B(a',b')$$A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Обратите внимание, что любой постоянный член в совместном распределении всегда будет аннулирован, поскольку он будет появляться в знаменателе и знаменателе одновременно (см. Ответ @jtobin), поэтому нам действительно не нужно беспокоиться.

Таким образом, мы признаем, что наше апостериорное распределение на самом деле является бета-распределением, где мы можем просто обновить параметры априора и чтобы прийти к апостериорному. Вот почему бета-версия, предшествующая распространению, называется сопряженной .$a' = a+y$$b' = b+n-y$