Как вычислить доверительные интервалы параметров в R с учетом матрицы гессена в R с учетом вывода Optim.

22

Учитывая вывод от optim с гессианской матрицей, как рассчитать доверительные интервалы параметров, используя гессенскую матрицу?

fit<-optim(..., hessian=T)

hessian<-fit$hessian

Я в основном заинтересован в контексте анализа максимального правдоподобия, но мне любопытно узнать, можно ли расширить этот метод за пределы.

Этьен Лоу-Декари
источник
2
Этот вопрос слишком расплывчатый. Какие доверительные интервалы? Какие модели вам интересны? Подумайте о том, чтобы взглянуть на литературу, прежде чем отправлять 3 вопроса подряд.
Метод должен быть независим от интервала и модели.
Этьен Лоу-Декари
Какую функцию вы оптимизируете?
Стефан Лоран
Мне сказали, что я должен быть в состоянии сделать это независимо от модели, которую я использую.
Этьен Лоу-Декари
Кори Чиверс дал ответ.
Этьен Лоу-Декари

Ответы:

32

Если вы максимизируете вероятность, то ковариационная матрица оценок (асимптотически) является инверсией отрицания гессиана. Стандартными ошибками являются квадратные корни диагональных элементов ковариации ( из других источников в Интернете! От профессора Томаса Ламли и Спенсера Грейвса, англ.).

Для доверительного интервала 95%

fit<-optim(pars,li_func,control=list("fnscale"=-1),hessian=TRUE,...)
fisher_info<-solve(-fit$hessian)
prop_sigma<-sqrt(diag(fisher_info))
prop_sigma<-diag(prop_sigma)
upper<-fit$par+1.96*prop_sigma
lower<-fit$par-1.96*prop_sigma
interval<-data.frame(value=fit$par, upper=upper, lower=lower)

Обратите внимание, что:

  • Если вы максимизируете лог (вероятность), то ОТРИЦАТЕЛЬНЫМ гессиана является «наблюдаемая информация» (например, здесь).
  • Если вы МИНИМИЗИРУЕТЕ «отклонение» = (-2) * log (правдоподобие), то ПОЛОВИНА гессиана - это наблюдаемая информация.
  • В том маловероятном случае, когда вы максимизируете саму вероятность, вам нужно разделить негатив гессиана на вероятность получения наблюдаемой информации.

Смотрите это для дальнейших ограничений из-за используемой процедуры оптимизации.

Этьен Лоу-Декари
источник
Кори Чиверс дал ответ.
Этьен Лоу-Декари
2
(+1) обратная отрицательной мешковины является оценкой асимптотической ковариационной матрицы - Я знаю , что это , кажется , в вашем коде , но я думаю , что это важно отметить.
Макрос
1
Отличный ответ, следует ли читать верхнюю и нижнюю границы upper<-fit$par+1.96*(prop_sigma/sqrt(n)) lower<-fit$par-1.96*(prop_sigma/sqrt(n))? Спасибо
синоптик
3
Почему бы не удалить строку 4?
Джейсон
2
Включение линии prop_sigma<-diag(prop_sigma)- ошибка?
Марк Миллер