В чем разница между частичной вероятностью, профильной вероятностью и предельной вероятностью?

56

Я вижу, что эти термины используются, и я все время путаю их. Есть ли простое объяснение различий между ними?

Роб Хиндман
источник

Ответы:

57

Функция правдоподобия обычно зависит от многих параметров. В зависимости от приложения нас обычно интересует только подмножество этих параметров. Например, в линейной регрессии интерес обычно кроется в коэффициентах наклона, а не в дисперсии ошибок.

Обозначим интересующие нас параметры как β а параметры, которые не представляют первостепенного интереса, через θ . Стандартный способ решения проблемы оценки состоит в максимизации функции правдоподобия, чтобы получить оценки β и θ . Однако, поскольку основной интерес заключается в частичном β , профиль и предельное правдоподобие предлагают альтернативные способы оценки β без оценки θ .

Чтобы увидеть разницу, обозначим стандартную вероятность через L(β,θ|data) .

Максимальная вероятность

Найти β и θ которые максимизируют L(β,θ|data) .

Частичная вероятность

Если мы можем написать функцию правдоподобия как:

L(β,θ|data)=L1(β|data)L2(θ|data)

L1(β|data)

Вероятность профиля

θβθ

θ=g(β)

L(β,g(β)|data)

Предельная вероятность

θθβ

febstar
источник
2
Обратите внимание, что последнее определение здесь - интегрированное (или байесовское) правдоподобие, а не предельное правдоподобие.
АРС
Правильно ли это в RHS для частичного правдоподобия: «L2 (θ | theta)»?
jpalecek
@ars, не могли бы вы отредактировать ответ и дать определение предельной вероятности?
Вальдир Леонсио
13

Все три используются при работе с параметрами помех в полностью определенной функции правдоподобия.

Предельное правдоподобие является основным методом устранения ложных параметров в теории. Это функция истинного правдоподобия (т.е. она пропорциональна (предельной) вероятности наблюдаемых данных).

Частичная вероятность не является истинной вероятностью в целом. Однако в некоторых случаях это можно рассматривать как вероятность асимптотического вывода. Например, в моделях пропорциональных рисков Кокса, где они возникли, нас интересует наблюдаемое ранжирование в данных (T1> T2> ..) без указания базовой опасности. Эфрон показал, что частичное правдоподобие практически ничего не теряет для различных опасных функций.

Профиль вероятности удобен, когда у нас есть многомерная функция правдоподобия и один интересующий параметр. Это определено заменой неудобства S его MLE в каждом фиксированном T (интересующий параметр), то есть L (T) = L (T, S (T)). Это может хорошо работать на практике, хотя существует потенциальная ошибка в MLE, полученная таким образом; предельная вероятность исправляет этот уклон.

АРС
источник