Надежный MCMC оценщик предельной вероятности?

9

Я пытаюсь вычислить предельную вероятность для статистической модели методами Монте-Карло:

е(Икс)знак равно∫е(Икс|θ)π(θ)dθ

Вероятность того, что она хорошо себя ведет - гладкая, вогнутая - но объемная. Я пробовал значительную выборку, но результаты оказались неубедительными и сильно зависят от предложения, которое я использую. Я кратко подумал о том, чтобы сделать гамильтониан Монте-Карло для вычисления апостериорных отсчетов, предполагая, что равномерный априор и беря среднее гармоническое, пока не увидел это . Извлеченный урок, гармоническое среднее может иметь бесконечную дисперсию. Есть ли альтернативный оценщик MCMC, который был бы почти таким же простым, но с хорошим поведением?θ

monte-carlo likelihood marginal Дэвид Пфау
источник
Вы также можете рассмотреть базовую выборку Монте-Карло из предыдущего. е(Икс)знак равноЕπ(θ)(е(Икс|θ))
вероятностная
1
Это одно из возможных решений. В этом случае помните, что неправильные приоры больше не допускаются, и приоры с очень распространенной поддержкой, вероятно, затруднят приближение Монте-Карло.
Zen
1
Полная книга по этому вопросу - « Чен, Шао и Ибрагим» (2001) . Вы также можете искать ключевые слова, такие как вложенная выборка, мостовая выборка, защитная выборка, фильтры частиц, Savage-Dickey.
Сиань

Ответы:

8

Как насчет отобранной важности ? Он имеет гораздо меньшую дисперсию, чем выборка с регулярной важностью. Я видел, что это называется «золотой стандарт», и его реализовать не намного сложнее, чем «нормальную» выборку важности. Это медленнее в том смысле, что вам нужно выполнить несколько шагов MCMC для каждой выборки, но каждая выборка имеет тенденцию быть очень высокого качества, поэтому вам не нужно столько их, пока ваши оценки не уляжутся.

Другой основной альтернативой является выборка последовательной важности. Я чувствую, что это также довольно просто реализовать, но требует некоторого знакомства с последовательной Монте-Карло (фильтрацией частиц АКА), которой мне не хватает.

Удачи!

Отредактировано, чтобы добавить : Это похоже на сообщение в блоге Рэдфорда Нила, на которое вы ссылаетесь, также рекомендует Отбор Отборов Важности. Дайте нам знать, если это работает хорошо для вас.

Дэвид Дж. Харрис
источник
2

Это может помочь пролить свет на расчет предельного распределения. Кроме того, я бы порекомендовал использовать метод через мощные постеры, представленный Фрилом и Петтиттом . Такой подход кажется многообещающим, хотя и имеет некоторые ограничения. Или вы можете аппроксимировать аппроксимацию апостериорного аппроксимации апостериорного распределения нормальным распределением: если гистограмма из MCMC выглядит симметричной и нормальной, то это может быть довольно хорошим приближением.

Tomas
источник