Почему байесовский апостериор концентрируется вокруг минимизатора расхождения KL?

Рассмотрим Байеса задней . Асимптотически его максимум возникает при оценке MLE , которая просто максимизирует вероятность . $\theta\mid X$ $\hat \theta$ $\operatorname{argmin}_\theta\, f_\theta(X)$

Все эти концепции - байесовские априоры, максимизирующие вероятность - звучат сверхпринципно и вовсе не произвольно. Там не журнал в поле зрения.

Тем не менее, MLE минимизирует расхождение KL между реальным распределением и , т. Е. Минимизирует $\tilde f$ $f_\theta(x)$

K L (\tilde{f} ∥ f_{θ}) = \int_{- \infty}^{+ \infty} \tilde{f} (x) [\log \tilde{f} (x) - \log f_{θ} (x)] d x

$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$

Вау, откуда эти бревна? Почему KL расхождение в частности?

Почему, например, минимизация различных расхождений не соответствует сверхпринципным и мотивированным концепциям байесовских постеров и максимизирует вероятность выше?

Кажется, что-то особенное в дивергенции KL и / или журналах в этом контексте. Конечно, мы можем поднять руки вверх и сказать, что математика такова. Но я подозреваю, что может быть какая-то более глубокая интуиция или связи, чтобы раскрыть.

bayesian maximum-likelihood kullback-leibler Яфарт Агарвал
источник

Вы можете найти некоторые идеи здесь: stats.stackexchange.com/questions/188903/…

kjetil b halvorsen

@kjetilbhalvorsen Предыдущее название звучало как дубликат; Я приношу извинения. Я сделал правку, и должно быть понятно, почему этот вопрос не является дубликатом.

Яфарт Агарвал

Другие вопросы спрашивают: «Что такое дивергенция KL и почему она не симметрична?» Ответы объясняют концепцию расхождения и некоторую информацию о KL. Напротив, этот вопрос задает вопрос: «Почему байесовский апостериум концентрируется вокруг минимизатора расхождения KL?» Простое объяснение того, как расхождения не должны быть симметричными, и объяснение KL и утверждение, что KL связан с MLE, не решает суть вопроса здесь: почему среди множества возможных расхождений KL, в частности, имеет особую связь с байесовским апостериором. Имеет ли это смысл?

Яфарт Агарвал

Да, это имеет смысл, но проблема все еще существует. Задний также зависит от предшествующего, и, если он сильный, задний может иметь максимум от mle. Но априор отсутствует в вашем вопросе.

kjetil b halvorsen

@kjetilbhalversen Я имел в виду асимптотически все больше и больше образцов IID и в (жестких) условиях, при которых предварительное значение не имеет значения асимптотически!

Яфарт Агарвал

Ответы:

Использование логарифмов в таких вычислениях происходит из теории информации . В частном случае дивергенции KL меру можно интерпретировать как относительную информацию двух распределений:

\begin{aligned} K L (\tilde{f} ∥ f_{θ}) & = \int_{- \infty}^{\infty} \tilde{f} (x) (\log \tilde{f} (x) - \log f_{θ} (x)) d x \\ = (\underset{H (\tilde{f}, f_{θ})}{\underset{⏟}{- \int_{- \infty}^{\infty} \tilde{f} (x) \log f_{θ} (x) d x}}) - (\underset{H (\tilde{f})}{\underset{⏟}{- \int_{- \infty}^{\infty} \tilde{f} (x) \log \tilde{f} (x) d x}}), \end{aligned}

$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$

где является энтропией из и является кроссом-энтропия и . Энтропию можно рассматривать как меру средней скорости, создаваемой плотностью (мысль о перекрестной энтропии немного сложнее). Минимизация дивергенции KL для фиксированного значения (как в упомянутой вами проблеме) эквивалентна минимизации кросс-энтропии, и поэтому эта оптимизация может быть дана в теоретико-информационной интерпретации. $H(\tilde{f})$ $\tilde{f}$ $H(\tilde{f}, f_\theta)$ $\tilde{f}$ $f_\theta$ $\tilde{f}$

Я не могу кратко описать теорию информации и свойства мер информации. Тем не менее, я бы рекомендовал взглянуть на поле, так как оно тесно связано со статистикой. Многие статистические меры, включающие интегралы и суммы по логарифмам плотностей, представляют собой простые комбинации стандартных информационных мер, используемых в теории мер, и в таких случаях им могут быть даны интерпретации в терминах базовых уровней информации различной плотности и т. Д.

Бен - Восстановить Монику
источник

Изучение теории информации звучит многообещающе! Спасибо, что указал мне на это.

Яфарт Агарвал

Очевидно, что вы не можете объяснить целое математическое поле в посте StackExchange, но есть ли у вас какие-либо конкретные ссылки на то, что появляется журнал?

Яфарт Агарвал

Я просто думаю, что за такой глубокой интуицией скрывается, скажем, e в уравнении Эйлера, и такая, что здесь скрывается похожая интуиция. Может быть, продукт где-то вызывает возникновение натурального логарифма. Я не уверен.

Яфарт Агарвал

@ Yatharth логарифм возникает здесь из-за его центральной роли в определении энтропии Шеннона. Что касается «почему», то логарифм подходит для меры информации, в отличие от другой функции, взгляните на теорему 2 в «Математической теории коммуникации» Шеннона. Кроме того, "Теория информации и статистическая механика" Джейн - хорошее введение.

Нейт Папа