Почему необходимо выбирать из апостериорного распределения, если мы уже ЗНАЕМ апостериорное распределение?

19

Насколько я понимаю, при использовании байесовского подхода для оценки значений параметров:

  • Апостериорное распределение представляет собой комбинацию предшествующего распределения и распределения правдоподобия.
  • Мы моделируем это, генерируя выборку из апостериорного распределения (например, используя алгоритм Метрополиса-Хастинга для генерации значений и принимаем их, если они превышают определенный порог вероятности принадлежности к апостериорному распределению).
  • После того, как мы сгенерировали этот образец, мы используем его для аппроксимации апостериорного распределения и таких вещей, как его среднее значение.

Но я чувствую, что должен что-то неправильно понять. Похоже, у нас есть апостериорное распределение, а затем выборка из него, а затем мы используем эту выборку в качестве аппроксимации апостериорного распределения. Но если у нас есть апостериорное распределение для начала, почему мы должны брать из него выборку, чтобы приблизить его?

Дейв
источник

Ответы:

20

Этот вопрос, вероятно, уже обсуждался на этом форуме.

θ

π(θ|x)π(θ)×f(x|θ)
π(θ|x)exp{||θx||2||θ+x||4||θ2x||6},  x,θR18,
  1. θE[h(θ)|x]
  2. оптимальное решение при произвольной функции полезности, решение, которое минимизирует ожидаемые последующие потери;
  3. {h=h(θ); πh(h)h_}
  4. наиболее вероятная модель выбора между установкой некоторых компонентов параметра (ов) к определенным значениям и сохранением их неизвестными (и случайными).

Это только примеры многих применений апостериорного распределения. Во всех случаях, кроме самых простых, я не могу дать ответы, рассматривая апостериорную плотность распределения, и мне действительно необходимо пройти через числовые решения, такие как методы Монте-Карло и Маркова с цепочкой Монте-Карло.

Сиань
источник
Большое спасибо за ответ Сиань. Я уверен, что это отвечает на мой вопрос, но мне все еще трудно понять его. Прав ли я, что у нас есть функция плотности вероятности, соответствующая апостериорной (т. Е. Путем объединения априорной и вероятностной)? Почему мы не можем найти 95% ДИ непосредственно из этого, а не из выборочного апостериорного распределения?
Дейв
2
@ Дэйв, я думаю, что ключом здесь является то, что вы подразумеваете под словом «иметь». В общем случае у вас не будет закрытого решения формы, поэтому у вас не будет «полезной» функции.
монах
@monk спасибо за ответ! Вы не возражаете против того, что дает решение для закрытой формы?
Дэйв
2
Предположим, ваш предшествующий уровень - бета (a, b), а вероятность - биномиальная (n, p). Как вы рассчитываете ожидаемое значение вашего апостериорного? Попробуйте выработать интегральную часть этого продукта с ручкой и бумагой. В общем, такой интеграл будет чем-то, что требует от компьютера точного значения. В качестве альтернативы вы можете обнаружить, что бета-сопряжение сопряжено до биномиального, и, следовательно, последним будет бета-версия (с легко вычисляемыми параметрами). Но часто вам не так повезет. Привязать определение «закрытой формы» сложно, и о нем стоит прочитать самостоятельно.
монах
4

Да, у вас может быть аналитическое апостериорное распределение. Но ядром байесовского анализа является маргинализация по заднему распределению параметров, чтобы вы могли получить лучший результат прогнозирования как с точки зрения точности, так и с точки зрения возможности обобщения. По сути, вы хотите получить прогнозное распределение, которое имеет следующую форму.

p(x|D)=p(x|w)p(w|D)dw

p(w|D)p(w|D)p(x|w)

Карлссон Ю
источник