В чем разница между частичной вероятностью, профильной вероятностью и предельной вероятностью?

Я вижу, что эти термины используются, и я все время путаю их. Есть ли простое объяснение различий между ними?

Функция правдоподобия обычно зависит от многих параметров. В зависимости от приложения нас обычно интересует только подмножество этих параметров. Например, в линейной регрессии интерес обычно кроется в коэффициентах наклона, а не в дисперсии ошибок.

Обозначим интересующие нас параметры как $\beta$ а параметры, которые не представляют первостепенного интереса, через $\theta$ . Стандартный способ решения проблемы оценки состоит в максимизации функции правдоподобия, чтобы получить оценки $\beta$ и $\theta$ . Однако, поскольку основной интерес заключается в частичном $\beta$ , профиль и предельное правдоподобие предлагают альтернативные способы оценки $\beta$ без оценки $\theta$ .

Чтобы увидеть разницу, обозначим стандартную вероятность через $L(\beta, \theta|\mathrm{data})$ .

Максимальная вероятность

Найти $\beta$ и $\theta$ которые максимизируют $L(\beta, \theta|\mathrm{data})$ .

Частичная вероятность

Если мы можем написать функцию правдоподобия как:

$$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$$

$L_1(\beta|\mathrm{data})$

Вероятность профиля

$\theta$$\beta$$\theta$

$\theta = g(\beta)$

$$L(\beta, g(\beta)|\mathrm{data})$$

Предельная вероятность

$\theta$$\theta$$\beta$

Все три используются при работе с параметрами помех в полностью определенной функции правдоподобия.

Предельное правдоподобие является основным методом устранения ложных параметров в теории. Это функция истинного правдоподобия (т.е. она пропорциональна (предельной) вероятности наблюдаемых данных).

Частичная вероятность не является истинной вероятностью в целом. Однако в некоторых случаях это можно рассматривать как вероятность асимптотического вывода. Например, в моделях пропорциональных рисков Кокса, где они возникли, нас интересует наблюдаемое ранжирование в данных (T1> T2> ..) без указания базовой опасности. Эфрон показал, что частичное правдоподобие практически ничего не теряет для различных опасных функций.

Профиль вероятности удобен, когда у нас есть многомерная функция правдоподобия и один интересующий параметр. Это определено заменой неудобства S его MLE в каждом фиксированном T (интересующий параметр), то есть L (T) = L (T, S (T)). Это может хорошо работать на практике, хотя существует потенциальная ошибка в MLE, полученная таким образом; предельная вероятность исправляет этот уклон.