Каковы недостатки профиля вероятности?

19

Рассмотрим вектор параметров , где θ 1 представляет интересующий параметр, а θ 2 является параметром помех.(θ1,θ2)θ1θ2

Если вероятность того, построена из данных х , профиль правдоподобия для & thetas 1 определяется как L P ( θ 1 ; х ) = L ( θ 1 , θ 2 ( θ 1 ) ; х ) , где θ 2 ( θ 1 ) является ОМП & thetas 2L(θ1,θ2;x)xθ1LP(θ1;x)=L(θ1,θ^2(θ1);x)θ^2(θ1)θ2для фиксированного значения .θ1

Максимизация профиль вероятность относительно & thetas ; 1 приводит кже оценке thetas ; 1 в качестве одного полученного путем максимизации вероятности одновременно по отношению к & thetas ; 1 и & thetas ; 2 .θ1θ^1θ1θ2

Я считаючто стандартное отклонение & thetas ; 1 может также быть оценено из второй производной профиля правдоподобия.θ^1

Вероятность статистики для H 0 : θ 1 = θ 0 можно записать в терминах профиля правдоподобия: L R = 2 бревна ( L P ( θ 1 ; х )H0:θ1=θ0.LR=2log(LP(θ^1;x)LP(θ0;x))

Таким образом, кажется, что вероятность профиля может быть использована точно так же, как если бы это была подлинная вероятность. Это действительно так? Каковы основные недостатки этого подхода? А как насчет «слухов» о том, что оценка, полученная из вероятности профиля, является предвзятой (правка: даже асимптотически)?

ocram
источник
2
просто примечание, оценки от вероятности также могут быть смещены, классический пример - оценка дисперсии вероятности для нормальной выборки.
mpiktas
@mpiktas: Спасибо за ваш комментарий. Действительно, классический mle также может быть предвзятым. Я отредактирую вопрос, чтобы прояснить ситуацию.
Октябрь
что такое асимптотическое смещение? Вы говорите о непоследовательных оценках?
mpiktas
@mpiktas: Да, это то, что я должен был сказать ...
октябрь

Ответы:

14

Оценка по профильной вероятности является просто MLE. Максимизация относительно θ 2 для каждого возможного θ 1 и затем максимизация относительно θ 1 аналогична максимизации по отношению к ( θ 1 , θ 2 ) совместно.θ1θ2θ1θ1(θ1,θ2)

Главный недостаток заключается в том, если вы создаете оценку СЭ thetas ; 1 от кривизны профиля вероятности, вы не в полной мере учета неопределенности в thetas ; 2 .θ^1θ2

McCullagh и Nelder, Обобщенные линейные модели, 2-е издание , имеют короткий раздел о вероятности профиля (Sec 7.2.4, pgs 254-255). Они говорят:

[A] Приблизительные доверительные множества могут быть получены обычным способом ... такие доверительные интервалы часто бывают удовлетворительными, если [размерность ] мала по отношению к общей информации Фишера, но в противном случае они могут вводить в заблуждение. К сожалению, [вероятность регистрации профиля] не является функцией вероятности записи в обычном смысле. Совершенно очевидно, что его производная не имеет нулевого среднего, свойства, существенного для оценки уравнений.θ2

Карл
источник
ElP(θ1)θ10
Интересный вопрос, хотя он потребовал поездки на книжную полку (что я должен был сделать в любом случае). Я добавил немного к своему ответу по этому вопросу.
Карл
Большое спасибо за редактирование. Говорят, что свойство (оценка, оцененная по истинному значению параметра, имеет среднее значение ноль), является существенным для оценки уравнений. Но хотя вероятность регистрации профиля не соответствует этому свойству, она создает MLE. Я что-то скучаю?
Октябрь
Это свойство не обязательно для предоставления MLE.
Карл