Выборка Гиббса по сравнению с общим MH-MCMC

20

Я только что прочитал о выборке Гиббса и алгоритме Метрополиса Гастингса и у меня есть пара вопросов.

Насколько я понимаю, в случае выборки Гиббса, если у нас большая многомерная задача, мы выбираем из условного распределения, то есть выбираем одну переменную, сохраняя все остальные фиксированными, тогда как в MH мы выбираем из полного совместного распределения.

В документе говорилось, что предложенная выборка всегда принимается в выборке Гиббса, т. Е. Коэффициент принятия предложения всегда равен 1. Для меня это кажется большим преимуществом, поскольку для больших многомерных задач кажется, что коэффициент отклонения для алгоритма МЗ становится довольно большим. , Если это действительно так, то в чем причина неиспользования Gibbs Sampler все время для создания апостериорного распределения?

bayesian sampling mcmc gibbs metropolis-hastings Лука
источник
11
Хорошо сконструированное многомерное предложение по МЗ может значительно превзойти выборку Гиббса, даже когда возможна выборка из условных выражений (например, многомерная нормаль с высокой размерностью, HMC обгоняет Гиббса с большим отрывом, когда переменные сильно коррелируют). Это потому, что выборка Гиббса не позволяет переменным развиваться совместно. Это похоже на оптимизацию функции путем итеративной оптимизации отдельных аргументов - вы можете добиться большего успеха, если оптимизируете по всем аргументам совместно, а не по очереди, даже если последние проще сделать.
парень
Метрополис-Гастингс может пробовать, используя предложения по условию. Вы имеете в виду определенный вид МЗ?
Glen_b
1
Спасибо за комментарий. Нет, я просто подумал, почему Гиббс Сэмплер не используется чаще. упустил тот факт, что условная форма распределения должна быть априори известна для выборки Гиббса. Для моих текущих потребностей, кажется, что комбинация работает лучше всего. Таким образом, используйте шаг MH для подмножества параметров, сохраняя другие постоянными, а затем используйте Гиббса для другого подмножества (где условные выражения легко оценить аналитически). Я только начинаю с этого, поэтому еще не знаю о различных типах МЗ. Любой совет по этому поводу приветствуется :-)
Лука

Ответы:

12

Основное обоснование использования алгоритма Метрополис заключается в том, что вы можете использовать его, даже если полученный апостериор неизвестен. Для выборки Гиббса вы должны знать, что апостериорные распределения, от которых вы рисуете, варьируются.

user3777456
источник
1
Спасибо за ответ! Итак, для GS идея состоит в том, что условные выражения - это более простые распределения, из которых можно легко выбрать выборку, в то время как совместное распределение, хотя и известно, может быть сложным распределением, из которого трудно выбрать?
Лука
2
Да, это правда. Однако часто Гиббс-Сэмплинг и Метрополис используются совместно. Таким образом, обусловливание некоторых переменных может дать вам заднюю форму в закрытой форме, в то время как для других это невозможно, и вы должны использовать «Метрополис-шаг». В этом случае вы должны решить, для какого типа метрополиса-сэмплера (независимость, случайное блуждание) вы подходите, и какую плотность предложений вы используете. Но я полагаю, что это заходит слишком далеко, и вам лучше сначала разобраться с этим.
user3777456
3

Выборка Гиббса разрушает проклятие размерности в выборке, поскольку вы разбили пространство параметров (возможно, с высокой размерностью) на несколько шагов с низкой размерностью. Metropolis-Hastings устраняет некоторые проблемы размерности при генерировании техник выборки отклонения, но вы все еще осуществляете выборку из полного многовариантного распределения (и принимаете решение принять / отклонить выборку), в результате чего алгоритм страдает от проклятия размерности.

Думайте об этом в упрощенном виде: гораздо проще предложить обновление для одной переменной за раз (Гиббс), чем для всех переменных одновременно (Метрополис Гастингс).

При этом размерность пространства параметров будет по-прежнему влиять на сходимость как в Гиббсе, так и в Метрополисе Гастингсе, поскольку существует больше параметров, которые потенциально могут не сходиться.

Гиббс также хорош, потому что каждый шаг цикла Гиббса может быть в закрытой форме. Это часто имеет место в иерархических моделях, где каждый параметр обусловлен только несколькими другими. Часто довольно просто построить вашу модель так, чтобы каждый шаг Гиббса был в закрытой форме (когда каждый шаг сопряжен, его иногда называют «полусопряженным»). Это хорошо, потому что вы выбираете из известных дистрибутивов, которые часто могут быть очень быстрыми.

TrynnaDoStat
источник
«Выборка Гиббса разрушает проклятие размерности в выборке»: фактически, выборка Гиббса имеет тенденцию работать намного хуже, чем что-то вроде Metropolis Hastings с адаптивной ковариационной матрицей предложений.
Клифф AB