Основной вопрос о информационной матрице Фишера и связи с гессианскими и стандартными ошибками

54

Хорошо, это довольно простой вопрос, но я немного запутался. В своей диссертации я пишу:

Стандартные ошибки могут быть найдены путем вычисления обратного корня квадратного из диагональных элементов (наблюдаемой) информационной матрицы Фишера:

Так как команда оптимизации в R сводитминимуму-журналл(наблюдаемые) Фишера Информационная матрица может быть найдена путем вычисления обратной гессианом: Я(μ,сг2)=Н-1

sμ^,σ^2знак равно1я(μ^,σ^2)
-журналL
я(μ^,σ^2)знак равноЧАС-1

Мой главный вопрос: это правильно, что я говорю ?

Я немного растерялся, потому что в этом источнике на странице 7 говорится:

Информационная матрица отрицательна от ожидаемого значения гессенской матрицы

(Так что нет обратного гессиана.)

Принимая во внимание, что в этом источнике на странице 7 (сноска 5) говорится:

Наблюдаемая информация Фишера равна .(-ЧАС)-1

(Так вот обратное.)

Я знаю о знаке минус и когда его использовать, а когда нет, но почему есть разница в принятии обратного или нет?

Джен Боолд
источник
@COOLSerdash Спасибо за ваши исправления и +1, но этот источник: unc.edu/~monogan/computing/r/MLE_in_R.pdf Стр. 7 ясно говорит, что наблюдаемая информация о Фишере равна ОБРАТНОЙ форме гессиана?
Джен Боолд
@COOLSerdash Хорошо, вы можете опубликовать это как ответ.
Джен Боолд,

Ответы:

75

Юди Павитан пишет в своей книге « По всей вероятности», что второй производной логарифмического правдоподобия, оцененного по оценкам максимального правдоподобия (MLE), является наблюдаемая информация Фишера (см. Также этот документ , стр. 2). Это именно то , что большинство алгоритмов оптимизации , как optimв Rсвою очередь: Гессе оценивается в ОМП. Когда отрицательныйлогарифмическая вероятность минимальна, отрицательный гессиан возвращается. Как вы правильно заметили, оцененные стандартные ошибки MLE представляют собой квадратные корни диагональных элементов, обратных к наблюдаемой информационной матрице Фишера. Другими словами: квадратные корни диагональных элементов обратного гессиана (или отрицательного гессиана) являются оценочными стандартными ошибками.

Резюме

  • Отрицательный гессиан, оцененный в MLE, совпадает с наблюдаемой информационной матрицей Фишера, оцененной в MLE.
  • Относительно вашего основного вопроса: Нет, это не правильно, что наблюдаемая информация Фишера может быть найдена путем обращения (отрицательного) гессиана.
  • Относительно вашего второго вопроса: обратный (отрицательный) гессиан является оценкой асимптотической ковариационной матрицы. Следовательно, квадратные корни диагональных элементов ковариационной матрицы являются оценками стандартных ошибок.
  • Я думаю, что второй документ, на который вы ссылаетесь, ошибся.

Формально

L(θ) я(θ)(п×п)

я(θ)знак равно-2θяθJL(θ),    1я,Jп
я(θ^ML)
ЧАС(θ)знак равно2θяθJL(θ),    1я,Jп

Вaр(θ^ML)знак равно[я(θ^ML)]-1
θ^ML~aN(θ0,[я(θ^ML)]-1)
θ0
SЕ(θ^ML)знак равно1я(θ^ML)
COOLSerdash
источник
1
следует сказать «когда отрицательное логарифмическое правдоподобие сведено к минимуму » (или оптимизировано ).
Cmo
8
я(θ)знак равноЕя(θ)я(θ)θя(θ)знак равноя(θ)
Scortchi - Восстановить Монику
6

Оценка функций правдоподобия влечет за собой двухэтапный процесс.

Сначала объявляется функция логарифмического правдоподобия. затем оптимизируются функции логарифмического правдоподобия. Все в порядке.

-1*LL

(-ЧАС)-1

Аделино Мартинс
источник