Оценка максимального правдоподобия - доверительный интервал

12

Как я могу построить асимптотический доверительный интервал для реального параметра, начиная с MLE для этого параметра?

Фабрицио
источник
Одним из способов решения этой проблемы является использование дельта-метода: en.wikipedia.org/wiki/Delta_method
Я заметил , есть голоса , чтобы закрыть этот вопрос как слишком широкие, но есть общая теорема об асимптотическом поведении ОМПА , которое может быть кратко сформулировано. Я дал краткий ответ, который я расширю чуть позже.
Scortchi - Восстановить Монику

Ответы:

13

Используйте тот факт, что для выборки iid размера при некоторых условиях регулярности MLE является непротиворечивой оценкой истинного параметра , а его распределение асимптотически нормальным, а дисперсия определяется обратной величиной Информация о Фишере:nθ^θ0

n(θ^θ0)N(0,1I1(θ0))
где - это информация Фишера из одного образца. Наблюдаемая информация в MLE асимптотически стремится к ожидаемой информации, поэтому вы можете рассчитать (скажем, 95%) доверительные интервалы сI1(θ0)I(θ^)

θ^±1.96nI1(θ^)

Например, если - усеченная до нуля переменная Пуассона, вы можете получить формулу для наблюдаемой информации в терминах MLE (которую вы должны вычислить численно): X

f(x)=eθθxx!(1eθ)

(θ)=θ+xlogθlog(1eθ)

d(θ)dθ=1+xθeθ1eθ

I1(θ^)=d2(θ^)(dθ^)2=xθ^eθ^(1eθ^)2

Известные случаи, исключенные условиями регулярности, включают те, где

  • параметр определяет поддержку данных, например, выборка из равномерного распределения между нулями иθθ
  • количество неприятных параметров увеличивается с размером выборки
Scortchi - Восстановить Монику
источник
Применяется ли этот метод неизмененным, когда есть ограничения на , например, ? Как насчет MLE для параметров , таких что и ? θθ[0,1]Nθii=0,...,N1i=0N1θi=1θi[0,1]
Quant_Dev
1
Если , то есть истинное значение не равно одной из границ. θ(0,1)
Scortchi - Восстановить Монику
Если иразве это не означает, что нормальное приближение не применимо, и мне нужно больше образцов? θ(0,1)σ(θ^)>|θ^|
Quant_Dev
Да, это только асимптотический доверительный интервал.
Scortchi - Восстановить Монику
1
@quant_dev: Нет: вы бы искали преобразование параметра (ов), который сделал бы нормальное приближение достойным, или использовали бы другой метод.
Scortchi - Восстановить Монику