Гамильтониан Монте-Карло против последовательного Монте-Карло

23

Я пытаюсь понять относительные достоинства и недостатки, а также различные области применения этих двух схем MCMC.

  • Когда бы вы использовали, что и почему?
  • Когда один может потерпеть неудачу, а другой нет (например, где применима HMC, но нет SMC, и наоборот)
  • Может ли один, очень наивно предоставленный, поставить меру полезности одному методу по сравнению с другим (то есть один, как правило, лучше )?

В настоящее время я читаю отличную статью Бетанкура о HMC .

Astrid
источник
3
SMC - это не метод MCMC, т. Е. Нет цепочки Маркова, которая создается при использовании SMC.
Джарадниеми
1
Иногда вы используете mcmc в smc. И иногда вы используете SMC в MCMC. На момент написания этой статьи я не знал ни о каких документах, в которых бы сочеталось использование hmc и smc.
Тейлор
1
Я сам хотел бы лучше понять связь между SMC (иначе говоря, фильтрацией частиц) и HMC. Спасибо за вопрос! Я отмечаю эту статью, которая, на первый взгляд, представляет собой некое сочетание двух подходов: arxiv.org/pdf/1504.05715v2.pdf
Дэвид С. Норрис,

Ответы:

23

Гамильтониан Монте-Карло хорошо работает с непрерывным распределением целей со «странными» формами. Это требует, чтобы целевое распределение было дифференцируемым, поскольку оно в основном использует наклон целевого распределения, чтобы знать, куда идти. Прекрасный пример - функция в форме банана.

Вот стандартная функция «Метрополис Гастингс в банановой функции»: уровень принятия 66% и очень плохое покрытие. Метрополис Гастингс с банановой функцией

Вот с HMC: 99% одобрения с хорошим покрытием. Метрополис Гастингс с банановой функцией

SMC (метод фильтрации частиц) практически непобедим, когда целевое распределение является мультимодальным, особенно если есть несколько отдельных областей с массой. Вместо одной цепочки Маркова, захваченной в режиме, у вас есть несколько цепей Маркова, работающих параллельно. Обратите внимание, что вы используете его для оценки последовательности распределений, обычно возрастающей резкости. Вы можете генерировать увеличивающуюся резкость, используя что-то вроде имитации отжига (поместите экспоненциально увеличивающийся показатель в цель). Или, как правило, в байесовском контексте последовательность распределений является последовательностью последующих:

P(θ|y1),P(θ|y1,y2),...,P(θ|y1,y2,...,yN)

Например, эта последовательность является отличной целью для SMC: введите описание изображения здесь

Параллельная природа SMC делает его особенно подходящим для распределенных / параллельных вычислений.

Резюме:

  • HMC: хорош для вытянутой странной цели. Не работает с не непрерывной функцией.
  • SMC: хорошо для мультимодальных и не непрерывных случаев. Может сходиться медленнее или использовать больше вычислительной мощности для создания странных фигур большого размера.

Источник: Большинство изображений взяты из статьи, которую я написал, комбинируя 2 метода (гамильтонова последовательность Монте-Карло). Эта комбинация может симулировать практически любое распределение, которое мы можем создать, даже при очень больших размерах.

RemiDav
источник
1
Красиво и ясно; +1. Понятия не имею, почему это не имеет больше голосов!
Арбовирус
2
Вот статья для интересующихся: remidaviet.com/files/HSMC-paper.pdf
stackoverflax