Нормализующая константа в теореме Байеса

15

Я читал , что в правиле Байеса, знаменатель из $\Pr(\textrm{data})$

Pr (parameters ∣ data) = \frac{Pr (data ∣ parameters) Pr (parameters)}{Pr (data)}

$\Pr(\text{parameters} \mid \text{data}) = \frac{\Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\text{parameters})}{\Pr(\text{data})}$

называется нормализующей константой . Что именно это? Какова его цель? Почему это выглядит как $\Pr(data)$ ? Почему это не зависит от параметров?

probability bayesian любитель
источник

4

Когда вы интегрируете , вы интегрируете по параметрам, поэтому результат не имеет термина, зависящего от параметров, так же, как не зависит от .

f (data | params) f (params)

$f(\text{data}|\text{params})f(\text{params})$

\int_{x = 0}^{x = 2} x y d x = 2 y

$\int_{x=0}^{x=2}xy\;dx = 2y$

x

$x$

Генри

16

Знаменатель, , получается путем интегрирования параметров из вероятности соединения, . Это предельная вероятность данных и, конечно, она не зависит от параметров, поскольку они были интегрированы. $\Pr(\textrm{data})$ $\Pr(\textrm{data}, \textrm{parameters})$

Теперь, так как:

$\Pr(\textrm{data})$ не зависит от параметров, для которых нужно сделать вывод;
$\Pr(\textrm{data})$ обычно трудно вычислить в закрытой форме;

часто используют следующую адаптацию формулы Бая:

$\Pr(\textrm{parameters} \mid \textrm{data}) \propto \Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\textrm{parameters})$

По сути, - не что иное, как «нормализующая константа», т. Константа, которая делает апостериорную плотность интегрируемой в единицу . $\Pr(\textrm{data})$

ocram
источник

2

Что именно вы подразумеваете под « интеграцией параметров»? Каково точное значение «интеграции» в этом контексте?

nbro

2

@nbro: я имею в виду Pr (данные) = интеграл по параметрам Pr (данные, параметры)

октябрь

2

Применяя правило Байеса, мы обычно хотим вывести «параметры», и «данные» уже даны. Таким образом, является константой, и мы можем предположить, что это просто нормализующий фактор. $\Pr(\textrm{data})$

жесткий
источник

Нормализующая константа в теореме Байеса

Ответы: