Байесовские факторы с неподходящими априорами

У меня есть вопрос относительно сравнения моделей с использованием байесовских факторов. Во многих случаях статистики заинтересованы в использовании байесовского подхода с неподходящими априорами (например, с некоторыми априорами Джеффриса и эталонными априорами).

Мой вопрос заключается в том, что в тех случаях, когда апостериорное распределение параметров модели четко определено, допустимо ли сравнивать модели с использованием байесовских факторов при использовании неправильных априорных значений?

В качестве простого примера рассмотрим сравнение модели Normal с моделью Logistic с априорами Джеффриса.

bayesian model-selection prior Джеффри
источник

Неправильный априор играет роль «неинформативного априора». Если вы находитесь в перспективе «без предварительного убеждения», то, очевидно, вы не можете назначить предыдущую вероятность модели. Однако есть некоторые статьи Бергера и других авторов о понятии «внутренних байесовских факторов»; это звучит как фактор Байеса с неинформативными априорами, но я не могу сказать больше, потому что я никогда не читал эти статьи. Вероятно, существуют и другие методы «объективного выбора байесовской модели» (ввод этих терминов в Google дает несколько статей Бергера).

Стефан Лоран

@ StéphaneLaurent Интерпретация априорных параметров отличается от априорной вероятности модели. Это видно из общего выражения для байесовского фактора. Вы также можете назначить модели одинаковые априорные значения, неподходящие перед параметрами, и посмотреть, что данные говорят вам апостериори .

Джеффри

Я рекомендую прочитать Критерии выбора байесовской модели с приложением к выбору переменных (AoS, 2012), в частности лемму 1. В принципе, неправильные априорные значения не могут использоваться для необычных параметров.

Ответы:

Нет. Хотя неправильные априорные значения могут быть приемлемы для оценки параметров при определенных обстоятельствах (из-за теоремы Бернштейна – фон Мизеса ), они являются большими нет-нет для сравнения моделей из-за того, что известно как парадокс маргинализации .

$p_1(x \mid \theta)$ $p_1(\theta)$

п_{1} (Икс) знак равно \int_{Θ} п_{1} (Икс | θ) п_{1} (θ) d θ,

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

$p_1(\theta) \propto 1$ $p_1(x)$

Некоторые авторы, в частности ET Jaynes, пытаются обойти это, определяя неправильные априоры как предел последовательности правильных априоров: тогда проблема в том, что могут быть две разные ограничивающие последовательности, которые затем дают разные ответы.

Саймон Бирн
источник

Спасибо за ваш ответ. Вопрос о константах пропорциональности можно избежать, если использовать тот же неподходящий априор для общих параметров, таких как параметры местоположения и масштаба, как упомянуто в «Байесовском выборе», с. 349. Если я правильно понимаю, парадокс маргинализации применим только к априорным элементам с определенная структура.

Джеффри

Проблема будет в том, что нереальные случаи будут доминировать: если у вас есть единообразный априор по параметру вашего местоположения, вы будете помещать 100-кратный вес на интервал [100,200], как вы бы сделали на [0,1] (что может показаться нелепым в некоторые обстоятельства).

Саймон Бирн

Но дело в том, что неправильные априорные значения нельзя интерпретировать в вероятностных терминах. Не существует такого веса, учитывая, что вероятностная интерпретация априора исчезла, поскольку она является ненадлежащей.

Джеффри

Это не вероятностный, но все же показатель, так что вы можете сделать относительные сравнения (т.е. в 100 раз «масса» на интервале [100,200], как и на [0,1]).

Саймон Бирн

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$