Почему нам нужен график трассировки для результатов MCMC

12

Я читаю исследовательские работы с использованием методов MCMC, и я вижу, что большинство из них содержат графики. Зачем нам нужны трассировки участков в цепочке Монте-Карло Маркова? На что указывает трассировка параметров?

Benzamin
источник

Ответы:

17

Вы создаете графики трассировки параметров, чтобы убедиться, что ваше априорное распределение хорошо откалибровано, на что указывают ваши параметры, имеющие достаточные изменения состояния при выполнении алгоритма MCMC.

Крайним примером является то, что вы устанавливаете вашу априорную дисперсию распределения равной 0. Тогда апостериорная оценка параметра никогда не изменится. Ваш алгоритм сказал бы, что у вас есть лучшая оценка параметров, но он не проверил достаточное количество параметров, чтобы определить, действительно ли это наилучшее соответствие. Если вы установите слишком высокую дисперсию априорного распределения, вы получите похожую проблему. Это связано с тем, что новый параметр с меньшей вероятностью будет связан с вашими данными, поэтому вероятность логарифма, рассчитанная по новому параметру, вряд ли будет лучше, чем вероятность логарифа с использованием старого параметра. (Например, если ваш «истинный» параметр равен 0,5, а ваша первоначальная оценка равна 2, но вы выбираете из нормального распределения со средним значением 2 и дисперсией 10 000, то вряд ли вы получите параметр, который ближе к 1 ,

Вам нужно выбрать априорную дисперсию, которая позволит вашим состояниям параметров изменяться достаточно, чтобы вы не застряли на локальных минимумах и максимумах в распределении правдоподобия логарифмов, но все же достаточно хорошо, чтобы получить разумные оценки параметров. В большинстве литературных источников вы можете изменить параметры в 40-60% случаев.

Еще одна причина для графиков трассировки - выжигание. Обычно период записи очевиден на графике (например, если истинный параметр равен 1,5, а ваша первоначальная оценка равна 4, вы должны увидеть, что оценки параметров быстро изменяются с 4 до 1,5. а затем "подпрыгивая" около 1,5). Как правило, вы просто исключаете первые n итераций, где n достаточно велико, чтобы вы наверняка удалили запись (скажем, 1000), но если вычисления занимают много времени или если ваши оценки параметров сходятся гораздо дольше, чем ваши n Позволяет затем вам, возможно, захотеть пропустить больше или меньше наблюдений для учета притока. Вы можете проверить свои графики, чтобы увидеть, где заканчивается период приработки, чтобы убедиться, что приработка не влияет на ваши результаты.

Обратите внимание, что я говорил в контексте оценок точек параметров. Если вы оцениваете дисперсию параметров, то обеспечение того, чтобы у вас были соответствующие изменения состояния, еще более важно.

Эрик
источник
5
+1 Но другая сторона в том, что мы не полностью доверяем формальной диагностике сходимости и хотим что-то посмотреть, прежде чем заявить, что она сходится. Является ли это совершенно рациональным, это другой вопрос ...
сопряженный
1
Извините, что выкопал этот старый пост. Но разве не предполагается, что предыдущее значение (сгенерированное из предыдущего распределения) не имеет значения, если имеется достаточное количество итераций?
mscnvrsy
@mscnvrsy: вы можете поставить неинформативный априор, как у Джеффри или униформа, если вы хотите предоставить меньше информации своему предшественнику.
Benzamin
3
Я полностью не согласен с тем, что графики трассировки MCMC каким-либо образом связаны с калибровкой предыдущего распределения. Алгоритм MCMC направлен на заданное апостериорное распределение, не зависящее от выбора априора, и при надлежащих условиях создает цепь Маркова, которая сходится к этому стационарному распределению. Рассмотрение графиков трасс полезно только для оценки сходимости или ее отсутствия в цепи Маркова.
Сиань