Почему доказательство Уилкса 1938 года не работает для неправильно определенных моделей?

23

В известной работе 1938 года (« Распределение отношения правдоподобия для большой выборки при проверке составных гипотез », Анналы математической статистики, 9: 60–62) Самуэль Уилкс вывел асимптотическое распределение в (логарифмическое отношение правдоподобия) для вложенных гипотез в предположении, что большая гипотеза указана правильно. Предельное распределение (хи-квадрат) со степенями свободы , где - число параметров в большей гипотезе, а2×LLрχ2час-мчасмчисло свободных параметров в вложенной гипотезе. Тем не менее, якобы общеизвестно, что этот результат не выполняется, если гипотезы неверно определены (т. Е. Когда большая гипотеза не является истинным распределением для выборочных данных).

Кто-нибудь может объяснить почему? Мне кажется, что доказательство Уилкса все еще должно работать с небольшими изменениями. Он основывается на асимптотической нормальности оценки максимального правдоподобия (MLE), которая все еще сохраняется с ошибочно определенными моделями. Единственным отличием является ковариационная матрица предельной многомерной нормали: для правильно заданных моделей мы можем аппроксимировать ковариационную матрицу с помощью обратной информационной матрицы Фишера , при неправильной спецификации мы можем использовать сэндвич-оценку ковариационной матрицы ( ). Последнее сводится к обратной информационной матрице Фишера, когда модель задана правильно (посколькуJ-1J-1КJ-1Jзнак равноК). AFAICT, Доказательство Уилкса не волнует, откуда берется оценка ковариационной матрицы, пока у нас есть обратимая асимптотическая ковариационная матрица многомерной нормали для MLE ( в статье Уилкса). с-1

ratsalad
источник
Когда большая модель истинна, а подмодель ложная, асимптотическое распределение больше не является (например, в линейных моделях с гауссовыми ошибками мы получаем такие вещи, как точные нецентральные F-распределения, поэтому асимптотическое распределение должно быть чем-то вроде nc - Я думаю,) Итак, почему мы ожидаем, что это будет когда и большая, и меньшая модели ошибочны? С чего именно нулевая гипотеза здесь для начала? х 2 х 2χ2χ2χ2
парень
В правильно заданной нулевой гипотезе обе модели являются «истинными», но во вложенной есть параметров, зафиксированных на истинных значениях. В неправильно определенной нулевой гипотезе обе модели являются «ложными», но вложенная имеет параметров, фиксированных на значениях псевдотриев. («Псевдотриальное значение» - это асимптотическое значение параметра, которое минимизирует расстояние Кульбака-Либлера между неправильно заданной моделью и истинной моделью). Таким образом, ваш пример нецентрального-F не ​​имеет значения, так как это распределение, когда нулевая гипотеза здесь ложна. ммм
рацалад
Извините, я должен был сказать, что вложенная гипотеза имеет параметры зафиксированные на истинных значениях. hм
рацалад
Насколько я понимаю, неправильно указанная нулевая модель может быть ошибочно указана разными способами. Например: неправильное распределение остатков, данные имеют гетероскедастичность, эффекты не аддитивны и т. Д. Однако я согласен, что если хотя бы один из «проверенных» параметров зафиксирован на ложном значении (например, псевдотриальное значение) , это один из примеров неправильно указанной нулевой модели. час-м
rcorty

Ответы:

19

Р. В. Фоутц и Р. К. Шривастава подробно рассмотрели этот вопрос. Их статья 1977 года «Выполнение теста отношения правдоподобия при неправильной модели» содержит утверждение о распределении результата в случае неправильной спецификации вместе с очень кратким наброском доказательства, а статья 1978 года «Асимптотическое распределение отношения правдоподобия при модель неверна » содержит доказательство, но последняя напечатана на старомодной пишущей машинке (хотя обе статьи используют одну и ту же запись, так что вы можете комбинировать их при чтении). Кроме того, в отношении некоторых этапов доказательства они ссылаются на статью К.П. Роя «Записка об асимптотическом распределении отношения правдоподобия» от 1957 г., которая, по-видимому, недоступна даже в режиме онлайн.

В случае неправильной спецификации распределения, если MLE все еще согласован и асимптотически нормален (что не всегда так), статистика LR асимптотически следует линейной комбинации независимых хи-квадратов (каждый из которых имеет одну степень свободы)

-2перλdΣязнак равно1рсяχя2

где . Видно «сходство»: вместо одного хи-квадрата с h - m степенями свободы мы имеем h - m хи-квадрата, каждый с одной степенью свободы. Но «аналогия» на этом заканчивается, потому что линейная комбинация хи-квадратов не имеет плотности в замкнутой форме. Каждый масштабированный хи-квадрат представляет собой гамму, но с другим параметром c i, который приводит к другому параметру масштаба для гаммы, и сумма таких гамм не является замкнутой, хотя ее значения можно вычислить.рзнак равночас-мчас-мчас-мся

Для констант имеем c 1c 2. , , c r0 , и они являются собственными значениями матрицы ... какая матрица? Хорошо, используя обозначения авторов, установите Λ как гессиан логарифмического правдоподобия, а C - как внешний продукт градиента логарифмического правдоподобия (в терминах ожидания). Таким образом, V = Λ - 1 C ( Λ ) - 1 - асимптотическая дисперсионно-ковариационная матрица MLE.сяс1с2,,,ср0ΛСВзнак равноΛ-1С(Λ')-1

Затем установите , чтобы быть в г × г верхний диагональный блок V . Mр×рВ

Также напишите в форме блокаΛ

Λзнак равно[Λр×рΛ2'Λ2Λ3]

и положим ( W - отрицание дополнения Шура Λ ).Wзнак равно-Λр×р+Λ2'Λ3-1Λ2WΛ

Тогда являются собственными значениями матрицы M W, оцененными при истинных значениях параметров.сяMW

ДОБАВЛЕНИЕ
Ответ на действительное замечание ФП в комментариях (иногда, действительно, вопросы становятся трамплином для обмена более общим результатом, и самим собой можно пренебречь в процессе), вот как проходит доказательство Уилкса: Уилкс начинает с соединения нормальное распределение MLE, и приступает к получению функционального выражения отношения правдоподобия. Вплоть до его экв. , доказательство может продвинуться вперед, даже если мы предположим, что у нас есть неправильная спецификация распределения: как отмечает OP, условия ковариационной матрицы дисперсии будут отличаться в сценарии неправильной спецификации, но все, что Уилкс делает, это берет производные и идентифицирует асимптотически незначительные условия. И вот он прибывает в ур. [ 9 ][9][9]где мы видим, что статистика отношения правдоподобия, если спецификация верна, является просто суммой квадрате стандартных нормальных случайных величин, и поэтому они распределяются как один хи-квадрат с h - m степенями свободы: (общая запись )час-мчас-м

-2перλзнак равноΣязнак равно1час-м(Nθ^я-θяσя)2dχчас-м2

N(θ^-θ)

-2перλзнак равноΣязнак равно1час-м(Nθ^я-θяaя)2

-2перλзнак равноΣязнак равно1час-мσя2aя2(Nθ^я-θяσя)2знак равноΣязнак равно1час-мσя2aя2χ12

час-м

Алекос Пападопулос
источник
1
Итак, это просто повторение стандартного результата, когда модель не указана. Этот результат был получен и получен повторно много раз. Самым ясным и наиболее ярким выводом, который я видел, является кент из 1982 г. « Надежные свойства тестов отношения правдоподобия » (Biometrika 69:19). Однако вы не ответили на мой вопрос. Мой вопрос был конкретно о доказательстве Уилкса 1938 года и о том, почему оно не удается.
рацалад
2

J-1J-1J-1КJ-1яJJсяJJ-1КJ-1знак равноJ-1Кзнак равноJКзнак равноJ

RMG
источник