Какие факторы делают задние распределения трудно поддающимися лечению?

В байесовской статистике часто упоминается, что апостериорное распределение трудноразрешимо, и поэтому необходимо применять приблизительный вывод. Какие факторы вызывают эту неразрешимость?

В основном проблема заключается в том, что байесовский анализ включает в себя интегралы , часто многомерные, в реалистических задачах, и именно эти интегралы обычно неразрешимы аналитически (за исключением нескольких особых случаев, требующих использования сопряженных априорных значений).

Напротив, большая часть небайесовской статистики основана на максимальной вероятности - нахождении максимума (обычно многомерной) функции, которая включает в себя знание ее производных , то есть дифференцирования. Несмотря на это, численные методы используются во многих более сложных задачах, но без них можно продвигаться чаще, а численные методы могут быть проще (даже если менее простые могут работать лучше на практике).

Так что я бы сказал, что все сводится к тому, что дифференциация более гибкая, чем интеграция.

У меня была возможность задать Дэвиду Блею этот вопрос лично, и он сказал мне, что неразрешимость в этом контексте означает одну из двух вещей:

1. Интеграл не имеет решения в замкнутой форме. Это может быть когда мы моделируем некоторые сложные реальные данные, и мы просто не можем записать распределение на бумаге.

2. Интеграл является вычислительно неразрешимым. Он посоветовал мне сесть с ручкой и бумагой и на самом деле выработать предельные доказательства для байесовской смеси гауссиан. Вы увидите, что это трудно поддается вычислению, то есть экспоненциально. Он приводит хороший пример этого в недавней статье (см. 2.1. Проблема приближенного вывода ).

FWIW, я нахожу это слово выбор запутывающим, так как (1) оно перегружено по значению и (2) оно уже широко используется в CS для ссылки только на вычислительную неразрешимость.

На самом деле, существует целый ряд возможностей:

1. $Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. $p(y|\pi)$$Y$$\pi$ (давайте даже не будем говорить о случае, когда мы понятия не имеем как данные возникают ...).

Люди обычно имеют в виду что-то вроде (2), когда они говорят о (не аналитически) непроходимой апостериорной, и что-то вроде (3), когда они говорят о непроходимой вероятности. Это третий случай, когда приблизительное байесовское вычисление является одним из вариантов, в то время как во втором случае обычно возможны методы MCMC (которые, как вы можете утверждать, являются в некотором смысле приблизительными). Я не совсем уверен, к какой из этих двух цитат относится ваша цитата.

Способность к трактовке связана с замкнутостью выражения .

Говорят, что проблемы можно решить, если они могут быть решены с помощью выражения в замкнутой форме.

В математике выражение в замкнутой форме - это математическое выражение, которое может быть оценено за конечное число операций. Он может содержать константы, переменные, определенные «хорошо известные» операции (например, + - × ÷) и функции (например, n-й корень, показатель степени, логарифм, тригонометрические функции и обратные гиперболические функции), но обычно без ограничений. Набор операций и функций, допускаемых в выражении закрытой формы, может варьироваться в зависимости от автора и контекста.

Таким образом, неразрешимость означает, что существует некоторый предел / бесконечность (например, бесконечное суммирование в интегралах), который не может быть оценен за конечное число операций, и, следовательно, должны использоваться методы аппроксимации (такие как MCMC).

Статья в Википедии указывает на тезис Кобхэма, который пытается формализовать этот «объем операций» и, следовательно, управляемость.