Идея и интуиция, стоящие за квазимаксимальной вероятностной оценкой (QMLE)

Вопрос (ы): В чем заключается идея и интуиция, лежащие в основе квазимаксимальной вероятностной оценки (QMLE; также известная как псевдо максимальная правдоподобная оценка, PMLE)? Что заставляет оценщик работать, когда фактическое распределение ошибок не соответствует предполагаемому распределению ошибок?

Сайт в Википедии для QMLE - это хорошо (кратко, интуитивно понятно), но я мог бы использовать немного больше интуиции и деталей, возможно, также иллюстрацию. Другие ссылки приветствуются. (Я помню, как просматривал довольно много учебников по эконометрике в поисках материала по QMLE, и, к моему удивлению, QMLE освещался только в одном или двух из них, например, Вулдридже «Эконометрический анализ данных сечений и панелей» (2010), глава 13 Раздел 11, стр. 502-517.)

«Что заставляет оценщик работать, когда фактическое распределение ошибок не соответствует предполагаемому распределению ошибок?»

В принципе, QMPLE не «работает» в смысле «хорошей» оценки. Теория, разработанная вокруг QMLE, полезна, потому что она привела к тестам с ошибочной спецификацией.

Что безусловно делает QMLE, так это последовательно оценивает вектор параметров, который минимизирует расхождение Кульбака-Лейбера между истинным распределением и указанным. Это звучит хорошо, но минимизация этого расстояния не означает, что минимизированное расстояние не будет огромным.

Тем не менее, мы читаем, что во многих ситуациях QMLE является непротиворечивой оценкой для вектора истинных параметров. Это должно оцениваться в каждом конкретном случае, но позвольте мне привести одну очень общую ситуацию, которая показывает, что в QMLE нет ничего, что делает его непротиворечивым для истинного вектора ...

... Скорее, это тот факт, что он совпадает с другим всегда неизменным оценщиком (сохраняя предположение об эргодически-стационарной выборке): старомодный метод оценки моментов.

Другими словами, если сомневаетесь в распределении, следует рассмотреть стратегию «всегда указывайте распределение, для которого оценка максимального правдоподобия для интересующих параметров совпадает с оценкой метода моментов» : таким образом, независимо от того, насколько не соответствует действительности Согласно вашему предположению о распределении, оценщик будет, по крайней мере, последовательным.

Вы можете довести эту стратегию до смешных крайностей: предположим, что у вас очень большая выборка iid из случайной величины, где все значения положительны. Продолжайте и предполагайте, что случайная величина обычно распределена, и применяйте максимальную вероятность для среднего значения и дисперсии: ваш QMLE будет согласован для истинных значений.

Конечно, возникает вопрос: зачем притворяться, что мы применяем MLE, поскольку то, что мы делаем по сути, опирается на сильные стороны метода моментов (который также гарантирует асимптотическую нормальность)?

В других более изощренных случаях QMLE может показаться непротиворечивым для интересующих параметров, если мы можем сказать, что мы правильно определили условную среднюю функцию, но не распределение (это, например, случай для Пуассона Пуассона QMLE - см. Вулдридж) ,

Интересно, однако, что эта формулировка была направлена ​​на оценку типа метода моментов, где можно было просто «установить то, что они хотят оценить» в RHS выражения в скобках, и полагать, что выражение сходится к «этому интересному». вещь". Это была прото форма оценки уравнений.

Оценочные уравнения не были новой концепцией. На самом деле, попытки еще в 1870-х и начале 1900-х годов представить ЭЭ правильно вывели предельные теоремы из ЭЭ с использованием разложений Тейлора, но отсутствие связи с вероятностной моделью стало причиной раздора среди критических рецензентов.

$S$

Однако, в отличие от вышеуказанного ответа, quasilikelihood уже широко используется. Одна очень хорошая дискуссия в McCullogh и Nelder касается моделирования популяции подковообразных крабов. В отличие от людей, их брачные привычки просто причудливы: многие самцы могут стечь к одной женщине в неизмеренных «скоплениях». С точки зрения эколога, фактическое наблюдение за этими кластерами далеко выходит за рамки их работы, но, тем не менее, получение прогнозов численности популяции по уловам и выбросам представляло значительную проблему. Оказывается, что эта модель спаривания приводит к модели Пуассона со значительной недостаточной дисперсией, то есть дисперсия пропорциональна, но не равна среднему значению.

Дисперсии считаются неприятными параметрами в том смысле, что мы, как правило, не основываем вывод об их значении, и совместная оценка их по единой вероятности приводит к крайне нерегулярной вероятности. Quasilikelihood является очень полезной областью статистики, особенно в свете более поздней работы над обобщенными оценочными уравнениями .

У меня был такой же вопрос, как и исходный, опубликованный здесь от Ричарда Харди. Моя путаница заключалась в том, что параметры, оцененные по квази-ML, могут не существовать в неизвестном «истинном» распределении. Что в данном случае означает «согласованность»? К чему сходятся оценочные параметры?

После проверки некоторых ссылок ( Уайт (1982) должен быть одной из оригинальных статей, но он закрыт). Полезная экспозиция, которую я нашел, - http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), Мои мысли на простом английском языке следующие: после того, как мы допустили, что распределение, которое мы предполагаем, является лишь приближением к неизвестному истинному, практическая вещь, которую мы можем сделать, - найти значение параметра, чтобы минимизировать их расстояние (расстояние Кульбака-Лейблера) чтобы быть точным). Прелесть теории в том, что без необходимости знать истинное распределение оценочные параметры из квази-ML сходятся к этому параметру, минимизирующему расстояние (конечно, есть и другие полезные результаты из теории, такие как асимптотическое распределение оцененных параметры и т. д. но они не являются предметом моего вопроса здесь).

Так же, как Алекос Пападополус упомянул в своем ответе выше, минимизированное расстояние все еще может быть большим. Таким образом, распределение, которое мы предполагаем, может быть плохим приближением к истинному. Все, что может сделать квази-ML, - это сделать наше предполагаемое распределение как можно ближе к неизвестному истинному. Надеюсь, что мой опыт, приведенный здесь, может быть полезен для других, имеющих подобные заблуждения.