Когда нельзя распределить выборку по частоте в байесовской апостериорной системе в условиях регрессии?

Мои актуальные вопросы приведены в двух последних абзацах, но для их мотивации:

Если я пытаюсь оценить среднее значение случайной величины, которая следует за нормальным распределением с известной дисперсией, я прочитал, что если поставить перед средним равномерное значение, получится апостериорное распределение, пропорциональное функции правдоподобия. В этих ситуациях байесовский доверительный интервал полностью совпадает с доверительным интервалом, установленным для часто встречающихся людей, а апостериорная оценка для байесовского максимума равна оценке максимального правдоподобия для частых.

В простой настройке линейной регрессии,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

положить равномерный перед на и обратную-гамме перед на с малыми значениями параметров приводят к задним , который будет очень похож на частотный и надежный интервал для заднего распределения из который будет очень похож на доверительный интервал вокруг оценки максимального правдоподобия. Они не будут точно такими же, потому что до $\beta$ $\sigma^2$ $\hat\beta^{MAP}$ $\hat\beta^{MLE}$ $\beta|X$ $\sigma^2$ оказывает небольшое количество влияния, и если задняя оценка осуществляются с помощью MCMC моделирования , который будет ввести еще один источник расхождения, но байесовские доверия интервала вокруг и частотного доверительного интервал вокруг будет довольно близко друг к другу, и, конечно, по мере увеличения размера выборки они должны сходиться по мере того, как возрастает влияние вероятности, чтобы доминировать над влиянием предыдущего. $\hat\beta^{MAP}$ $\hat\beta^{MLE}$

Но я читал, что существуют также регрессионные ситуации, когда эти почти не эквивалентны. Например, иерархические регрессии со случайными эффектами или логистическая регрессия - это ситуации, когда, как я понимаю, не существует «хороших» объективных или эталонных априоров.

$P(\beta|X)$ и что у меня нет предварительной информации, которую я хочу включить, почему я не могу приступить к частой оценке максимального правдоподобия в этих ситуациях и интерпретировать полученные оценки коэффициентов и стандартные ошибки как оценки байесовского MAP и стандартные отклонения, и косвенно обрабатывать их «апостериорные» оценки как результат априора, который должен был быть «неинформативным» без попытки найти явную формулировку априора, которая привела бы к такому апостериору? В целом, в рамках регрессионного анализа, когда можно продолжать в том же духе (рассматривать вероятность как апостериорную), а когда - нет? Как насчет частых методов, которые не основаны на вероятности, таких как методы квази-правдоподобия,

Зависит ли ответ от того, является ли моя цель вывода оценочными точками коэффициентов, или вероятностью нахождения коэффициента в определенном диапазоне, или количествами прогнозирующего распределения?

bayesian maximum-likelihood posterior frequentist Yakkanomica
источник

Ответы:

$p$

$H_0$ $p$ $H_0$

$p$ $P(D|H_0)$ $P(H_0|D)$

$p$ $\theta$

L (θ | D) = P (D | θ)

$L(\theta | D) = P(D|\theta)$

$P(\theta|D)$ $\theta$

\underset{posterior}{\underset{⏟}{P (θ | D)}} \propto \underset{likelihood}{\underset{⏟}{P (D | θ)}} \times \underset{prior}{\underset{⏟}{P (θ)}}

$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$

$p$

Таким образом, хотя оценки максимального правдоподобия должны совпадать с байесовскими оценками MAP при одинаковых априорных значениях, вы должны помнить, что они отвечают на другой вопрос.

Коэн, J. (1994). Земля круглая (р <.05). Американский психолог, 49, 997-1003.

Тим
источник

Спасибо за ваш ответ @Tim. Я должен был быть более ясным - я понимаю, что P (D | H) и P (H | D), в общем, не одно и то же, и что частые и байесовские расхождения во мнениях относительно того, уместно ли назначать распределения вероятностей параметрам ( или гипотезы в более общем плане). То, о чем я спрашиваю, - это ситуации, в которых (частое) выборочное распределение оценки будет численно эквивалентно (байесовскому) апостериорному распределению истинного значения параметра.

Якканомица

Продолжение моего предыдущего комментария: Вы писали: «Таким образом, хотя оценки максимального правдоподобия должны совпадать с оценками Байеса по MAP при одинаковых априорных значениях», - я спрашиваю, есть ли ситуации, в которых эти отношения нарушаются - оба с точки зрения точечных оценок и распределений вокруг них.

Якканомица

Одно последнее дополнение - Некоторые люди скажут, что главное достоинство байесовского подхода - это его способность гибко включать в себя предыдущие знания. Для меня привлекательность байесовского подхода заключается в интерпретации - способности назначать распределение вероятности параметру. Необходимость указать приоры является неприятностью. Я хочу знать, в каких ситуациях я могу использовать методы частых исследований, но назначить байесовскую интерпретацию результатам, утверждая, что результаты частых и байесовских измерений численно совпадают при достоверно неинформативных априорах.

Якканомица

@ Yakkanomica Я понимаю, это интересный вопрос, но простой ответ (как указано выше) состоит в том, что вы не должны делать такие интерпретации, потому что наиболее часто используемые методы отвечают на другой вопрос, чем байесовский. Точечные оценки ML и MAP должны совпадать, но доверительные интервалы и ИЧР могут различаться и не должны интерпретироваться как взаимозаменяемые.

Тим

Но @Tim, есть ситуации, в которых доверительные интервалы и ИЧР перекрываются. Например, сравните оценки ML на стр.1906 с байесовскими апостериорными оценками (на основе единообразных априорных значений коэффициентов и IG до шкалы) на стр.1908: пример PROC GENMOD . Оценка точки ML и 95% доверительные интервалы очень похожи на байесовскую апостериорную среднюю оценку и интервал 95% HPD.

Якканомица