Почему избыточное среднее значение параметризации ускоряет Гиббс MCMC?

12

В книге Gelman & Hill (2007) (Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей) авторы утверждают, что включение избыточных средних параметров может помочь ускорить MCMC.

Данный пример - это не вложенная модель "симулятора полета" (уравнение 13.9):

yiN(μ+γj[i]+δk[i],σy2)γjN(0,σγ2)δkN(0,σδ2)

Они рекомендуют репараметризацию, добавив средние параметры и следующим образом:μ δμγμδ

γjN(μγ,σγ2)δkN(μδ,σδ2)

Единственное оправдание заключается в том, что (стр. 420):

Моделирование может застрять в конфигурации, где весь вектор (или ) далек от нуля (даже если им назначено распределение со средним 0). В конечном счете, симуляции будут сходиться к правильному распределению, но мы не хотим ждать.δγδ

Как избыточные средние параметры помогают с этой проблемой?

Мне кажется, что модель без вложенности является медленной в основном из-за того, что и имеют отрицательную корреляцию. (Действительно, если один повышается, другой должен понижаться, учитывая, что их сумма «фиксирована» данными). Помогают ли избыточные средние параметры уменьшить корреляцию между и или чем-то еще полностью?δ γ δγδγδ

Гейзенберг
источник
Вы ищете интуитивное понимание этой конкретной проблемы (например, корреляция - или корреляции - и - ), или вы ищете интуитивное понимание общей проблемы ( т.е. понятие иерархического центрирования)? В последнем случае вы хотели бы, чтобы интуиция была близка к доказательству или интуиции, которая гораздо более свободна и более или менее показывает, как она работает? δ γ μ δ μγδγμδμ
Секст Эмпирик
Я хотел бы получить интуитивное представление о концепции иерархического центрирования в целом (поскольку конкретный случай в этом вопросе напрямую связан с применением иерархического центрирования). Ключевой момент, который я хочу понять, заключается в следующем: почему иерархическое центрирование работает, если дисперсия на уровне группы является значительной частью общей дисперсии ? Бумага Gelfand et al. доказывает это математически (т.е. выводит корреляцию и находит ее ограничивающее поведение), но без какого-либо интуитивного объяснения.
Гейзенберг

Ответы:

4

Следует избегать корреляции между и и .γ j δ kμγjδk

При замене и в вычислительной модели альтернативными параметрами, вокруг корреляция уменьшается.δ k μγjδkμ

См. Очень четкое описание в разделе 25.1 «Что такое иерархическое центрирование?» в (свободно доступной) книге Уильяма Дж. Брауна «Оценка MCMC в MLwiN» и других. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

Секст Эмпирик
источник
Раздел 25.1 «Оценки MCMC MlwiN» действительно описывает эту технику «иерархического центрирования», но не углубляется в какие-либо подробности, кроме заявления о том, что она работает. Перелистывая ссылки, я обнаружил, что фактическое доказательство этой методики представлено в статье « Эффективные параметризации для нормальных линейных смешанных моделей » Гельфанда и др., Biometrika vol 82, выпуск 3.
Гейзенберг,
Статья выше, в свою очередь, использует свойства нормального распределения без объяснения. Я нашел доказательства этих свойств в сопряженном байесовском анализе гауссовского распределения Кевина Мерфи.
Гейзенберг
К сожалению, я до сих пор не видел интуитивно понятного объяснения того, почему этот метод работает.
Гейзенберг
Уже поздно, но я думаю, что этот документ может быть тем, что вы ищете
baruuum