Показатели приемки для Метрополис-Гастингс с равномерным распределением кандидатов

9

При использовании алгоритма Метрополис-Гастингс с равномерным распределением кандидатов, какова причина того, что показатели приемлемости составляют около 20%?

Мое мышление таково: если истинные (или близкие к истинным) значения параметров обнаружены, то новый набор значений параметров-кандидатов из одного и того же равномерного интервала не увеличит значение функции правдоподобия. Поэтому, чем больше итераций я выполняю, тем ниже должны быть принятые нормы.

Где я ошибаюсь в этом мышлении? Большое спасибо!

Вот иллюстрация моих расчетов:

Acceptance_rate=exp{l(θc|y)+log(p(θc))[l(θ|y)+log(p(θ)]},

где - логарифмическая вероятностьL

Поскольку кандидаты всегда берутся из одного и того же равномерного интервала,θ

п(θс)знак равноп(θ*),

Поэтому расчет коэффициента приемки сокращается до:

AссепTaNсе_рaTезнак равноехр{L(θс|Y)-[L(θ*|Y)]}

Правило принятия будет следующим:θс

Если , где из равномерного распределения в интервале , тоUAссепTaNсе_рaTеU[0,1]

θ*знак равноθс,

иначе из равномерного распределения в интервалеθс[θмяN,θмaИкс]

auretaure
источник
1
Я изменил форматирование для лучшей читаемости, убедитесь, что я не изменил первоначальное значение.
mpiktas

Ответы:

9

Я считаю, что слабая сходимость и оптимальное масштабирование алгоритмов Метрополиса случайного блуждания по Робертсу, Гельману и Гилксу являются источником оптимального коэффициента приемлемости 0,234.

В статье показано, что при определенных допущениях вы можете масштабировать алгоритм Метрополиса-Гастингса случайного блуждания по мере того, как размерность пространства стремится к бесконечности, чтобы получить предельную диффузию для каждой координаты. В пределе диффузия может рассматриваться как «наиболее эффективная», если коэффициент приема принимает значение 0,234. Интуитивно понятно, что это компромисс между принятием множества небольших принятых шагов и внесением множества крупных предложений, которые отклоняются.

Алгоритм Метрополис-Гастингс на самом деле не является алгоритмом оптимизации, в отличие от имитации отжига. Это алгоритм, который должен симулироваться из целевого распределения, поэтому вероятность принятия не должна стремиться к 0.

NRH
источник
9

Просто чтобы добавить к ответу @NRH. Общая идея следует принципу Златовласки :

  • Если скачки «слишком велики», то цепь залипает;
  • Если скачки «слишком малы», то цепочка исследует пространство параметров очень медленно;
  • Мы хотим, чтобы прыжки были правильными.

Конечно, вопрос в том, что мы подразумеваем под «просто правильно». По существу, для конкретного случая они минимизируют ожидаемое квадратное расстояние прыжка. Это эквивалентно минимизации автокорреляции лаг-1. Недавно Шерлок и Робертс показали, что магия 0.234 справедлива для других целевых распределений:

C. Шерлок, Дж. Робертс (2009); Оптимальное масштабирование случайного блуждания Метрополис по эллиптически симметричным унимодальным целям ; Бернулли 15 (3)

csgillespie
источник
1
(+1) Спасибо за эту ссылку. Вот еще одна ссылка, показывающая, что 0.234 не полная история.
NRH
2

Я добавляю это как ответ, потому что у меня недостаточно репутации для комментариев по этому вопросу. Я думаю , что вы запутались между скоростью приема и отношением приема .

  1. Коэффициент принятия используется, чтобы решить, принять или отклонить кандидата. Коэффициент, который вы называете коэффициентом приемки, фактически называется коэффициентом приемки, и он отличается от коэффициента приемки.
  2. Коэффициент принятия - это показатель приема кандидатов. Это отношение количества уникальных значений в цепочке MCMC к общему количеству значений в цепочке MCMC.

Теперь ваше сомнение в том, что оптимальная ставка приемлемости составляет 20%, на самом деле относится к реальной скорости принятия, а не к коэффициенту приемлемости. Ответ дан в других ответах. Я просто хотел указать на вашу путаницу.

Сафван
источник
1
Это кажется достаточным ответом для меня. Добро пожаловать на сайт @MusafitSafwan. Поскольку вы новичок здесь, вы можете посетить наш тур , в котором есть информация для новых пользователей.
gung - Восстановить Монику