При использовании алгоритма Метрополис-Гастингс с равномерным распределением кандидатов, какова причина того, что показатели приемлемости составляют около 20%?
Мое мышление таково: если истинные (или близкие к истинным) значения параметров обнаружены, то новый набор значений параметров-кандидатов из одного и того же равномерного интервала не увеличит значение функции правдоподобия. Поэтому, чем больше итераций я выполняю, тем ниже должны быть принятые нормы.
Где я ошибаюсь в этом мышлении? Большое спасибо!
Вот иллюстрация моих расчетов:
где - логарифмическая вероятность
Поскольку кандидаты всегда берутся из одного и того же равномерного интервала,
Поэтому расчет коэффициента приемки сокращается до:
Правило принятия будет следующим:
Если , где из равномерного распределения в интервале , то
иначе из равномерного распределения в интервале
источник
Ответы:
Я считаю, что слабая сходимость и оптимальное масштабирование алгоритмов Метрополиса случайного блуждания по Робертсу, Гельману и Гилксу являются источником оптимального коэффициента приемлемости 0,234.
В статье показано, что при определенных допущениях вы можете масштабировать алгоритм Метрополиса-Гастингса случайного блуждания по мере того, как размерность пространства стремится к бесконечности, чтобы получить предельную диффузию для каждой координаты. В пределе диффузия может рассматриваться как «наиболее эффективная», если коэффициент приема принимает значение 0,234. Интуитивно понятно, что это компромисс между принятием множества небольших принятых шагов и внесением множества крупных предложений, которые отклоняются.
Алгоритм Метрополис-Гастингс на самом деле не является алгоритмом оптимизации, в отличие от имитации отжига. Это алгоритм, который должен симулироваться из целевого распределения, поэтому вероятность принятия не должна стремиться к 0.
источник
Просто чтобы добавить к ответу @NRH. Общая идея следует принципу Златовласки :
Конечно, вопрос в том, что мы подразумеваем под «просто правильно». По существу, для конкретного случая они минимизируют ожидаемое квадратное расстояние прыжка. Это эквивалентно минимизации автокорреляции лаг-1. Недавно Шерлок и Робертс показали, что магия 0.234 справедлива для других целевых распределений:
источник
Я добавляю это как ответ, потому что у меня недостаточно репутации для комментариев по этому вопросу. Я думаю , что вы запутались между скоростью приема и отношением приема .
Теперь ваше сомнение в том, что оптимальная ставка приемлемости составляет 20%, на самом деле относится к реальной скорости принятия, а не к коэффициенту приемлемости. Ответ дан в других ответах. Я просто хотел указать на вашу путаницу.
источник