Сглаживание лапласа и дирихле приора

11

В статье Википедии о сглаживании Лапласа (или аддитивном сглаживании) сказано, что с байесовской точки зрения

это соответствует ожидаемому значению апостериорного распределения с использованием симметричного распределения Дирихле с параметром в качестве предшествующего значения. $\alpha$

Я озадачен тем, как это на самом деле правда. Может ли кто-нибудь помочь мне понять, как эти две вещи эквивалентны?

Благодаря!

bayesian smoothing dirichlet-distribution laplace-smoothing DanielX2010
источник

10

Конечно. По сути, это наблюдение того, что распределение Дирихле является сопряженным предшествующим для многочленного распределения. Это означает, что они имеют одинаковую функциональную форму. В статье упоминается об этом, но я просто подчеркну, что это следует из модели полиномиальной выборки. Итак, приступим к этому ...

Наблюдение касается апостериорного положения, поэтому давайте введем некоторые данные , которые представляют собой число различных элементов. Мы наблюдаем выборок всего. Предположим, что взят из неизвестного дистрибутива (в который мы поместим перед -симплексом). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

Задняя вероятность заданного и данных равна $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

Вероятность, , является полиномиальным распределением. Теперь давайте выпишем PDF: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

и

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

где . Умножая, мы находим это, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

Другими словами, задняя часть также является Dirichlet. Вопрос был о среднем значении. Поскольку задним является Дирихле, мы можем применить формулу для среднего Дирихле, чтобы найти это,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

Надеюсь это поможет!

Ага
источник

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ так что не стоит ли говорить, чтоОни пропорциональны по отношению к , но я думаю, что написание равенства неверно.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

Михал

Я был смущен этим в течение долгого времени, и я хочу поделиться своим пониманием. Эти люди, мотивирующие сглаживание Лапласа Дирихле, используют апостериорное среднее, а не MAP. Для простоты предположим, что бета-распределение (простейший случай Дирихле) имеет среднее значение тогда как MAP равен . Поэтому, если кто-то говорит, что соответствует добавлению 1 к числителю и 2 к знаменателю, то это потому, что они используют апостериорное среднее.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

RMurphy

0

Как примечание, я также хотел бы добавить еще один пункт к вышеупомянутому выводу, который на самом деле не касается основного вопроса. Однако, говоря о априорных значениях Дирихле по многочленовому распределению, я подумал, что стоит упомянуть, что будет формой функции правдоподобия, если мы собираемся принять вероятности в качестве переменных неприятности.

Как правильно указал sydeulissie, пропорционально . Теперь здесь я хотел бы вычислить . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

Используя интегральное тождество для гамма-функций, мы имеем:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

Приведенный выше вывод вероятности для категориальных данных предлагает более надежный способ работы с этими данными для случаев, когда размер выборки не настолько велик. $N$

omidi
источник

Сглаживание лапласа и дирихле приора

Ответы: