Какие факторы делают задние распределения трудно поддающимися лечению?

28

В байесовской статистике часто упоминается, что апостериорное распределение трудноразрешимо, и поэтому необходимо применять приблизительный вывод. Какие факторы вызывают эту неразрешимость?

Ник
источник

Ответы:

18

В основном проблема заключается в том, что байесовский анализ включает в себя интегралы , часто многомерные, в реалистических задачах, и именно эти интегралы обычно неразрешимы аналитически (за исключением нескольких особых случаев, требующих использования сопряженных априорных значений).

Напротив, большая часть небайесовской статистики основана на максимальной вероятности - нахождении максимума (обычно многомерной) функции, которая включает в себя знание ее производных , то есть дифференцирования. Несмотря на это, численные методы используются во многих более сложных задачах, но без них можно продвигаться чаще, а численные методы могут быть проще (даже если менее простые могут работать лучше на практике).

Так что я бы сказал, что все сводится к тому, что дифференциация более гибкая, чем интеграция.

универсальный
источник
14

У меня была возможность задать Дэвиду Блею этот вопрос лично, и он сказал мне, что неразрешимость в этом контексте означает одну из двух вещей:

  1. Интеграл не имеет решения в замкнутой форме. Это может быть когда мы моделируем некоторые сложные реальные данные, и мы просто не можем записать распределение на бумаге.

  2. Интеграл является вычислительно неразрешимым. Он посоветовал мне сесть с ручкой и бумагой и на самом деле выработать предельные доказательства для байесовской смеси гауссиан. Вы увидите, что это трудно поддается вычислению, то есть экспоненциально. Он приводит хороший пример этого в недавней статье (см. 2.1. Проблема приближенного вывода ).

FWIW, я нахожу это слово выбор запутывающим, так как (1) оно перегружено по значению и (2) оно уже широко используется в CS для ссылки только на вычислительную неразрешимость.

GWG
источник
5

На самом деле, существует целый ряд возможностей:

  1. Y~мусорное ведро(N,π)πБета(a,б)п(π|Yзнак равноY)Бета(a+Y,б+N-Y)
  2. Y~мусорное ведро(N,π)журналπN(μ,σ2)п(π|Yзнак равноY)αп(Y|π)п(π)
  3. п(Y|π)Yπ (давайте даже не будем говорить о случае, когда мы понятия не имеем как данные возникают ...).

Люди обычно имеют в виду что-то вроде (2), когда они говорят о (не аналитически) непроходимой апостериорной, и что-то вроде (3), когда они говорят о непроходимой вероятности. Это третий случай, когда приблизительное байесовское вычисление является одним из вариантов, в то время как во втором случае обычно возможны методы MCMC (которые, как вы можете утверждать, являются в некотором смысле приблизительными). Я не совсем уверен, к какой из этих двух цитат относится ваша цитата.

Бьерн
источник
3

Способность к трактовке связана с замкнутостью выражения .

Говорят, что проблемы можно решить, если они могут быть решены с помощью выражения в замкнутой форме.

В математике выражение в замкнутой форме - это математическое выражение, которое может быть оценено за конечное число операций. Он может содержать константы, переменные, определенные «хорошо известные» операции (например, + - × ÷) и функции (например, n-й корень, показатель степени, логарифм, тригонометрические функции и обратные гиперболические функции), но обычно без ограничений. Набор операций и функций, допускаемых в выражении закрытой формы, может варьироваться в зависимости от автора и контекста.

Таким образом, неразрешимость означает, что существует некоторый предел / бесконечность (например, бесконечное суммирование в интегралах), который не может быть оценен за конечное число операций, и, следовательно, должны использоваться методы аппроксимации (такие как MCMC).

Статья в Википедии указывает на тезис Кобхэма, который пытается формализовать этот «объем операций» и, следовательно, управляемость.

Давор Йосипович
источник