Какой из них лучше максимальная вероятность или предельная вероятность и почему?

При выполнении регрессии, если мы перейдем к определению из: Какова разница между частичной вероятностью, профильной вероятностью и предельной вероятностью?

что Максимальное правдоподобие
Найти β и θ, который максимизирует L (β, θ | данных).

В то время как предельное правдоподобие
Мы интегрируем θ из уравнения правдоподобия, используя тот факт, что мы можем определить распределение вероятности θ, условного на β.

Какую методологию лучше использовать и почему?

regression maximum-likelihood Анкит Чиплункар
источник

Ответы:

Каждый из них даст разные результаты с различной интерпретацией. Первый находит наиболее вероятную пару , , а второй - наиболее вероятный . Представьте, что ваш дистрибутив выглядит так: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Затем максимального правдоподобия ответ ( ), в то время как максимальная предельная вероятность ответа (так как , маргинализируя над & , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Я бы сказал, что в общем случае предельное правдоподобие часто является тем, что вы хотите - если вы действительно не заботитесь о значениях параметров , то вам следует просто свернуть их. Но, вероятно, на практике эти методы не дадут очень разных результатов - если они это сделают, то это может указать на некоторую нестабильность в вашем решении, например, на несколько режимов с различными комбинациями , которые все дают схожие прогнозы. $\theta$ $\beta$ $\theta$

Крис
источник

Я нашел разные результаты для методов максимального / предельного правдоподобия и, следовательно, вопрос. Я бы сказал, что два результата в моем случае дают разные интерпретации, но возможные результаты.

Анкит Чиплункар

Я сам сейчас занимаюсь этим вопросом. Вот результат, который может быть полезным. Рассмотрим линейную модель

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

где и ; и являются параметры , представляющие интерес. Совместная вероятность $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Оптимизация совместной вероятности доходности

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

где представляет собой Псевдообратный и является нужным остаточный вектор. Отметим , что в мы имеем вместо привычных степенями свободы корректируется соотношение . Известно, что эта оценка смещена в случае конечной выборки. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Теперь предположим, что вместо оптимизации как и мы интегрируем out и оцениваем из полученной интегрированной вероятности: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Используя элементарную линейную алгебру и гауссову интегральную формулу, вы можете показать, что

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Это имеет поправку на степени свободы, которая делает его беспристрастным и в целом предпочтительным по сравнению с совместной оценкой ОД.

Из этого результата можно было бы спросить, есть ли что-то по преимуществу в интегрированной вероятности, но я не знаю каких-либо общих результатов, которые отвечают на этот вопрос. Похоже, консенсус заключается в том, что интегрированный ML лучше учитывает неопределенность в большинстве проблем оценки. В частности, если вы оцениваете величину, которая зависит от других оценок параметров (даже неявно), то интеграция по другим параметрам будет лучше учитывать их неопределенности.

Павел
источник

Это интересно. Я, однако, немного обеспокоен тем фактом, что «интеграция

» использует недопустимое предельное распределение, а также отсутствием какого-либо очевидного обоснования для использования этого (неправильного) маргинального по сравнению с любым другим. Что вы думаете об этих проблемах?

β

$\beta$

whuber

@whuber Я разделяю ваши опасения и не имею готового ответа, но учтите, что вероятность маргинализации - это просто апостериор с равномерным неправильным значением до

, поэтому я думаю, что это связано с «объективным байесовским» подходом. Там все равно, когда такой параметр, как

имеет неправильное предварительное распределение, если апостериорный интегрируем.

β

$\beta$

β

$\beta$

Пол

На самом деле, основываясь на этом посте и комментариях к нему, я думаю, что интегрированный ML, а не предельный ML, является правильным термином для того, что мы здесь делаем. Отредактировано соответственно.

Пол

+1 Я знаю, что я довольно опоздал на эту вечеринку, но не интегрирую фиксированные эффекты, накладывая на них неподходящую униформу, в точности то, что делает REML, так что вы на самом деле только что получили оценку REML, и эта коррекция df точно причина в том, что REML лучше для небольших образцов?

августа

@ Chaconne да, этот пост был мотивирован попыткой понять REML! У меня (почти) нет формального образования в области статистики, поэтому получение этого было для меня новым.

Пол

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ , you can optimize the marginal likelihood w.r.t. $\beta$ .

Seeda
источник