MCMC с алгоритмом Метрополис-Гастингс: выбор предложения

13

Мне нужно сделать симуляцию, чтобы оценить интеграл от трехпараметрической функции, скажем, , которая имеет очень сложную формулу. Предлагается использовать метод MCMC для его вычисления и реализации алгоритма Метрополиса-Гастингса для генерации значений, распределенных как , и было предложено использовать 3-х переменную нормаль в качестве распределения предложения. Читая некоторые примеры об этом, я видел, что некоторые из них используют нормаль с фиксированными параметрами а некоторые используют с переменной среднее , где - последнее принятое значение в соответствии с . У меня есть некоторые сомнения по поводу обоих подходов:f N ( μ , σ )ееN(μ,σ)N(X,σ)Xf

1) В чем смысл выбора последнего принятого значения в качестве нового среднего значения распределения нашего предложения? Моя интуиция говорит, что это должно гарантировать, что наши значения будут ближе к значениям, распределенным как f и шансы на принятие будут выше. Но не слишком ли концентрируется наш образец? Гарантируется, что, если я получу больше образцов, цепь станет стационарной?

2) Разве выбор фиксированных параметров (так как е действительно трудно анализировать) будет действительно трудным и зависит от первой выборки, которую мы должны выбрать, чтобы запустить алгоритм? В этом случае, какой будет лучший подход, чтобы найти, какой из них лучше?

Один из этих подходов лучше, чем другой, или это зависит от ситуации?

Я надеюсь, что мои сомнения ясны, и я был бы рад, если бы можно было дать какую-нибудь литературу (я читал некоторые статьи на эту тему, но чем больше, тем лучше!)

Заранее спасибо!

Giiovanna
источник

Ответы:

10

1) Вы можете думать об этом методе как о подходе случайного блуждания. Когда предложение распространяется , его обычно называют алгоритмом Метрополиса. Если слишком мало, вы будете иметь высокую скорость принятия и очень медленно исследуете распределение цели. На самом деле, если слишком маленький и дистрибутив мультимодальный, сэмплер может зависнуть в определенном режиме и не сможет полностью изучить целевой дистрибутив. С другой стороны, если слишком велик, коэффициент принятия будет слишком низким. Поскольку у вас есть три измерения, распределение вашего предложения будет иметь ковариационную матрицуσ 2 σ 2 σ 2 Σ ΣИкс|ИксT~N(ИксT,σ2)σ2σ2σ2Σчто, вероятно, потребует различных дисперсий и ковариаций для каждого измерения. Выбор подходящего может быть затруднен.Σ

2) Если распределение вашего предложения всегда , то это независимый алгоритм Метрополиса-Гастингса, поскольку распределение вашего предложения не зависит от вашего текущего образца. Этот метод работает лучше всего, если распределение вашего предложения является хорошим приближением к целевому распределению, из которого вы хотите получить выборку. Вы правы, что выбор хорошего нормального приближения может быть трудным.N(μ,σ2)

Ни один из методов не должен зависеть от начального значения сэмплера. Независимо от того, где вы начинаете, цепочка Маркова должна в конечном итоге сходиться к целевому распределению. Чтобы проверить сходимость, вы можете запустить несколько цепочек из разных начальных точек и выполнить диагностику сходимости, такую ​​как диагностика сходимости Гельмана-Рубина.

JSK
источник
Я не уверен, что утверждение: «2) Если распределение вашего предложения всегда , то это независимый алгоритм Метрополиса-Гастингса, поскольку распределение вашего предложения не зависит от вашего текущего образца: "правильно, потому что не рисует образцы из симметрично, и, следовательно, это будет более правильно называть алгоритмом Метрополиса, а не алгоритмом Метрополиса-Хастинга. Я не совсем уверен в себе, поэтому я тоже задаю вопрос. N ( μ , σ 2 )N(μ,σ2)N(μ,σ2)
Роди
@rhody. Алгоритм Метрополис не отбрасывает обусловленность на ваше текущее местоположение. Все дело в том, чтобы медленно бродить по пространству параметров с симметричным предложением из вашего текущего местоположения. Используя ЛЮБОЕ симметричное предложение, которое зависит от вашего текущего местоположения и расчета вероятности принятия Метрополис, вы в конечном итоге сойдетесь к целевому распределению. Для независимого алгоритма Метрополис-Гастингс вы хотите, чтобы распределение вашего предложения было приближением к целевому распределению, и вы используете другой расчет для вероятности принятия.
JSK
@rhody. Кроме того, верно, что нормальное распределение является симметричным, но это не тот тип симметрии, о котором идет речь. Если q - это распределение вашего предложения, то распределение предложения симметрично, если q (Y | X) = q (X | Y). Если , то д не является симметричным , так для всех и . Q~N(μ,σ2)Q(Y)Q(Икс)ИксY
JSK
@jsk считается симметричным, верно? Икс'~N(Икс,ε)
user76284