В известной работе 1938 года (« Распределение отношения правдоподобия для большой выборки при проверке составных гипотез », Анналы математической статистики, 9: 60–62) Самуэль Уилкс вывел асимптотическое распределение в (логарифмическое отношение правдоподобия) для вложенных гипотез в предположении, что большая гипотеза указана правильно. Предельное распределение (хи-квадрат) со степенями свободы , где - число параметров в большей гипотезе, ачисло свободных параметров в вложенной гипотезе. Тем не менее, якобы общеизвестно, что этот результат не выполняется, если гипотезы неверно определены (т. Е. Когда большая гипотеза не является истинным распределением для выборочных данных).
Кто-нибудь может объяснить почему? Мне кажется, что доказательство Уилкса все еще должно работать с небольшими изменениями. Он основывается на асимптотической нормальности оценки максимального правдоподобия (MLE), которая все еще сохраняется с ошибочно определенными моделями. Единственным отличием является ковариационная матрица предельной многомерной нормали: для правильно заданных моделей мы можем аппроксимировать ковариационную матрицу с помощью обратной информационной матрицы Фишера , при неправильной спецификации мы можем использовать сэндвич-оценку ковариационной матрицы ( ). Последнее сводится к обратной информационной матрице Фишера, когда модель задана правильно (поскольку). AFAICT, Доказательство Уилкса не волнует, откуда берется оценка ковариационной матрицы, пока у нас есть обратимая асимптотическая ковариационная матрица многомерной нормали для MLE ( в статье Уилкса).
Ответы:
Р. В. Фоутц и Р. К. Шривастава подробно рассмотрели этот вопрос. Их статья 1977 года «Выполнение теста отношения правдоподобия при неправильной модели» содержит утверждение о распределении результата в случае неправильной спецификации вместе с очень кратким наброском доказательства, а статья 1978 года «Асимптотическое распределение отношения правдоподобия при модель неверна » содержит доказательство, но последняя напечатана на старомодной пишущей машинке (хотя обе статьи используют одну и ту же запись, так что вы можете комбинировать их при чтении). Кроме того, в отношении некоторых этапов доказательства они ссылаются на статью К.П. Роя «Записка об асимптотическом распределении отношения правдоподобия» от 1957 г., которая, по-видимому, недоступна даже в режиме онлайн.
В случае неправильной спецификации распределения, если MLE все еще согласован и асимптотически нормален (что не всегда так), статистика LR асимптотически следует линейной комбинации независимых хи-квадратов (каждый из которых имеет одну степень свободы)
где . Видно «сходство»: вместо одного хи-квадрата с h - m степенями свободы мы имеем h - m хи-квадрата, каждый с одной степенью свободы. Но «аналогия» на этом заканчивается, потому что линейная комбинация хи-квадратов не имеет плотности в замкнутой форме. Каждый масштабированный хи-квадрат представляет собой гамму, но с другим параметром c i, который приводит к другому параметру масштаба для гаммы, и сумма таких гамм не является замкнутой, хотя ее значения можно вычислить.r = h - m ч - м ч - м ся
Для констант имеем c 1 ≥ c 2 ≥ . , , c r ≥ 0 , и они являются собственными значениями матрицы ... какая матрица? Хорошо, используя обозначения авторов, установите Λ как гессиан логарифмического правдоподобия, а C - как внешний продукт градиента логарифмического правдоподобия (в терминах ожидания). Таким образом, V = Λ - 1 C ( Λ ′ ) - 1 - асимптотическая дисперсионно-ковариационная матрица MLE.ся с1≥ c2≥ . , , ср≥ 0 Λ С В= Λ- 1С( Λ')- 1
Затем установите , чтобы быть в г × г верхний диагональный блок V .M r × r В
Также напишите в форме блокаΛ
и положим ( W - отрицание дополнения Шура Λ ).W= - Λr × r+ Λ'2Λ- 13Λ2 W Λ
Тогда являются собственными значениями матрицы M W, оцененными при истинных значениях параметров.ся MW
ДОБАВЛЕНИЕ[ 9 ] [ 9 ] где мы видим, что статистика отношения правдоподобия, если спецификация верна, является просто суммой квадрате стандартных нормальных случайных величин, и поэтому они распределяются как один хи-квадрат с h - m степенями свободы: (общая запись )ч - м ч - м
Ответ на действительное замечание ФП в комментариях (иногда, действительно, вопросы становятся трамплином для обмена более общим результатом, и самим собой можно пренебречь в процессе), вот как проходит доказательство Уилкса: Уилкс начинает с соединения нормальное распределение MLE, и приступает к получению функционального выражения отношения правдоподобия. Вплоть до его экв. , доказательство может продвинуться вперед, даже если мы предположим, что у нас есть неправильная спецификация распределения: как отмечает OP, условия ковариационной матрицы дисперсии будут отличаться в сценарии неправильной спецификации, но все, что Уилкс делает, это берет производные и идентифицирует асимптотически незначительные условия. И вот он прибывает в ур. [ 9 ]
источник
источник