Когда мне следует беспокоиться о парадоксе Джеффриса-Линдли в выборе байесовской модели?

Я рассматриваю большое (но конечное) пространство моделей различной сложности, которые я исследую с помощью RJMCMC . Приоритет вектора параметров для каждой модели достаточно информативен.

1. В каких случаях (если таковые имеются) я должен беспокоиться о парадоксе Джеффриса-Линдли в пользу более простых моделей, когда одна из более сложных моделей будет более подходящей?

2. Существуют ли простые примеры, освещающие проблемы парадокса при выборе байесовской модели?

Я прочитал несколько статей, а именно блог Сиане в и блог Эндрю Гельмана , но я до сих пор не совсем понимаю проблему.

Извините за неясность в моем блоге !

Примечание: я предоставил некоторую предысторию выбора модели Байеса и парадокса Джеффриса-Линдли в этом другом ответе на Кресте.

Парадокс Джеффриса-Линдли связан с выбором байесовской модели в том, что предельное правдоподобие становится бессмысленным, когда π является σ- конечной мерой (т. е. мерой с бесконечной массой), а не вероятностной мерой. Причина этой трудности заключается в том, что бесконечная масса делает π и c π неразличимыми для любой положительной константы c . В частности, Байесовский фактор не может использоваться и не должен использоваться, когда одна модель наделена «плоским» предшествующим уровнем.

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$ $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$$\mathfrak{B}_{12}$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ $\mathfrak{c}$

Теперь, если ваши приоры информативны (и, следовательно, правильны), нет никаких причин для возникновения парадокса Джеффриса-Линдли. При достаточном количестве наблюдений фактор Байеса будет последовательно выбирать модель, которая генерирует данные. (Или, точнее, модель в наборе моделей, рассматриваемых для выбора модели, которая наиболее близка к «истинной» модели, которая генерировала данные.)