Гессиан профиля вероятности используется для стандартной оценки ошибок

13

Этот вопрос мотивирован этим . Я посмотрел два источника, и это то, что я нашел.

А. ван дер Ваарт, Асимптотическая статистика:

Редко можно явно рассчитать вероятность профиля, но его численная оценка часто выполнима. Тогда профиль вероятности может служить для уменьшения размерности функции правдоподобия. Профильные функции правдоподобия часто используются так же, как (обычные) функции правдоподобия параметрических моделей. Помимо принятия их точек максимума в качестве оценок , вторая производная в используется в качестве оценки минус обратная асимптотическая ковариационная матрица для e. Недавние исследования подтверждают эту практику.θ^θ^

Дж. Вулдридж, Эконометрический анализ данных поперечного сечения и панелей (одинаковые в обоих изданиях):

В качестве устройства для изучения асимптотических свойств концентрированная целевая функция имеет ограниченное значение, поскольку грамм(W,β) обычно зависит от всех W , и в этом случае целевая функция не может быть записана как сумма независимых идентично распределенных слагаемых. Одна из настроек, в которой уравнение (12.89) представляет собой сумму функций iid, возникает, когда мы концентрируем отдельные индивидуальные эффекты от определенных нелинейных панельных моделей данных. Кроме того, концентрированная целевая функция может быть полезна для установления эквивалентности, казалось бы, разных подходов к оценке.

Вулдридж обсуждает проблему в более широком контексте М-оценок, так что это относится и к оценкам максимального правдоподобия.

Таким образом, мы получаем два разных ответа на один и тот же вопрос. Дьявол на мой взгляд в деталях. Для некоторых моделей мы можем безопасно использовать гессиан вероятности профиля, для некоторых моделей нет. Существуют ли какие-либо общие результаты, которые дают условия, когда мы можем это сделать (или не можем)?

mpiktas
источник
Эти отрывки, похоже, не касаются одного и того же вопроса: первый касается численного расчета для данного набора данных, тогда как второй касается «изучения асимптотических свойств». Использование гессиана, как правило, является чисто математическим соображением с обычно простыми ответами: см. Наше обсуждение .
whuber
Ван дер Ваарт говорит, что Гессиан используется для вычисления асимптотической ковариационной матрицы. Поскольку Вулдридж говорит, что сосредоточенная целевая функция не может использоваться для изучения асимптотических свойств, это означает, что ее гессиан (числовой) не может быть использован для оценки стандартных ошибок. Я не забыл нашу дискуссию, поэтому я беру этот отрывок с зерном соли. Однако ни Ван дер Ваарт, ни Вулдридж не дали никаких ссылок. Прежде чем проводить обширные исследования, я просто хотел проверить, может быть, это что-то хорошо известное.
mpiktas
Отличный момент: почему-то я упустил из виду «асимптотику» в цитате Ван дер Ваарта. Однако все еще не может быть никакого противоречия: Вулдридж просто говорит, что очевидное простое обоснование (слагаемые iid) недоступно для демонстрации того, что подход Ван дер Ваарта работает; Вулдридж не говорит, что это не работает ;-).
whuber
@ whuber, да, но он не говорит, что это тоже работает :) Я знаю, что здесь не может быть никакого противоречия, я только хочу знать, есть ли определенные результаты.
mpiktas
2
См. Вероятность профиля (SA Murphy и AW van der Vaart
whuber

Ответы:

1

Для некоторых моделей мы можем безопасно использовать гессиан вероятности профиля, для некоторых моделей не

К сожалению, это правда пока и не изменится.

Самая ясная дискуссия, о которой я знаю, - это Правила условного вывода: существует ли универсальное определение неформации? Б. Йоргенсен - Статистические методы и приложения, 1994.

И для некоторых из проблем, характерных для устранения неудач профиля вероятности Stafford, JE (1996). Надежная корректировка профиля вероятности, Анналы статистики, 24, 336-52.

фанерон
источник
1

Быстрый ответ: это обсуждается в третьей главе OE Barndorff-Nielsen & DR Cox: Вывод и асимптотика, Chapman & Hall, стр. 90, уравнение 3.31, которое они приписывают Пейтфилду. Они пришли к выводу, что для скалярного параметра это действительно (они не анализируют другие случаи).

Къетил б Халворсен
источник