Алгоритмы Метрополис-Гастингс, используемые на практике

20

Сегодня я читал блог Кристиана Роберта, и мне очень понравился новый алгоритм Метрополиса-Гастингса, который он обсуждал. Это казалось простым и легким в реализации.

Всякий раз, когда я кодирую MCMC, я склонен придерживаться очень простых алгоритмов MH, таких как независимые движения или случайные обходы в логарифмическом масштабе.

Какие алгоритмы MH люди обычно используют? Особенно:

  • Почему вы их используете?
  • В каком-то смысле вы должны думать, что они оптимальны - ведь вы используете их регулярно! Итак, как вы оцениваете оптимальность: простота кодирования, конвергенция, ...

Меня особенно интересует то, что используется на практике, то есть когда вы кодируете свои собственные схемы.

csgillespie
источник
Может быть, CW? Вопрос кажется опросом того, что люди используют. Как бы вы определили «лучший» ответ? Я признаю, что немного смутно, когда применяю CW. Так что не стесняйтесь игнорировать этот комментарий, если вы чувствуете иначе.
1
Я не против оставить это как не-CW, особенно если Колин может немного перефразировать это, чтобы учесть возможность одного лучшего ответа. Тем не менее, я не могу себе представить, как это сделать ...
Шейн
Я пытался изменить вопрос, чтобы сделать его менее CW - не уверен, что мне это удалось :( @Shane @Srikant, если вы все еще думаете, что это должен быть CW, смело меняйте его.
csgillespie
Это звучит так, как будто это хороший обзорный документ!
Шон

Ответы:

2

Гибрид Монте-Карло - это стандартный алгоритм, используемый для нейронных сетей. Выборка Гиббса для классификации гауссовских процессов (когда вместо этого не используется детерминированное приближение).

Дикран Сумчатый
источник
2

Выборка MH используется, когда трудно выбрать из целевого распределения (например, когда предшествующее не сопряжено с вероятностью). Таким образом, вы используете распределение предложений для генерации выборок и принятия / отклонения их в зависимости от вероятности принятия. Выборки Гиббса алгоритм является частным случаем MH , где эти предложения всегда принимаются. Выборка Гиббса является одним из наиболее часто используемых алгоритмов из-за его простоты, но его не всегда возможно применить, и в этом случае прибегают к МЗ на основе предложений принять / отклонить.

ebony1
источник
1

В физике, в частности в статистической физике, широко используются алгоритмы типа Метрополиса. Вариантов действительно много, и новые активно развиваются. Это слишком широкая тема, чтобы дать здесь какое-либо расширение, поэтому, если вам интересно, вы можете начать, например, с этих лекционных заметок или с веб-страницы библиотеки ALPS (http://alps.comp-phys.org/mediawiki).

эв-уш
источник
Я понимаю, что существует бесчисленное множество вариантов этого алгоритма. Что меня интересовало, так это то, какие люди обычно используют.
csgillespie
1

Я использую сэмплер срезов - первоначально предложенный Neal (2003), который я настраиваю с помощью эвристической оптимизации.

М. Тиббитс
источник