Сегодня я читал блог Кристиана Роберта, и мне очень понравился новый алгоритм Метрополиса-Гастингса, который он обсуждал. Это казалось простым и легким в реализации.
Всякий раз, когда я кодирую MCMC, я склонен придерживаться очень простых алгоритмов MH, таких как независимые движения или случайные обходы в логарифмическом масштабе.
Какие алгоритмы MH люди обычно используют? Особенно:
- Почему вы их используете?
- В каком-то смысле вы должны думать, что они оптимальны - ведь вы используете их регулярно! Итак, как вы оцениваете оптимальность: простота кодирования, конвергенция, ...
Меня особенно интересует то, что используется на практике, то есть когда вы кодируете свои собственные схемы.
mcmc
metropolis-hastings
csgillespie
источник
источник
Ответы:
Гибрид Монте-Карло - это стандартный алгоритм, используемый для нейронных сетей. Выборка Гиббса для классификации гауссовских процессов (когда вместо этого не используется детерминированное приближение).
источник
Выборка MH используется, когда трудно выбрать из целевого распределения (например, когда предшествующее не сопряжено с вероятностью). Таким образом, вы используете распределение предложений для генерации выборок и принятия / отклонения их в зависимости от вероятности принятия. Выборки Гиббса алгоритм является частным случаем MH , где эти предложения всегда принимаются. Выборка Гиббса является одним из наиболее часто используемых алгоритмов из-за его простоты, но его не всегда возможно применить, и в этом случае прибегают к МЗ на основе предложений принять / отклонить.
источник
В физике, в частности в статистической физике, широко используются алгоритмы типа Метрополиса. Вариантов действительно много, и новые активно развиваются. Это слишком широкая тема, чтобы дать здесь какое-либо расширение, поэтому, если вам интересно, вы можете начать, например, с этих лекционных заметок или с веб-страницы библиотеки ALPS (http://alps.comp-phys.org/mediawiki).
источник
Я использую сэмплер срезов - первоначально предложенный Neal (2003), который я настраиваю с помощью эвристической оптимизации.
источник