Оценки максимального правдоподобия (MLE) асимптотически эффективны; мы видим практический результат в том, что они часто работают лучше, чем оценки методом моментов (MoM) (когда они различаются), даже при небольших размерах выборки
Здесь «лучше чем» означает то, что обычно имеет меньшую дисперсию, когда оба несмещены, и, как правило, меньше среднеквадратичная ошибка (MSE) в более общем смысле.
Однако возникает вопрос:
Есть ли случаи, когда МЗ может побить MLE - скажем, на MSE - в небольших выборках?
(где это не какая-то странная / вырожденная ситуация - то есть, учитывая, что условия для ML существуют / асимптотически эффективны)
Тогда последующим вопросом будет «насколько большим может быть маленький?». - то есть, если есть примеры, есть ли такие, которые все еще сохраняются при относительно больших размерах выборки, возможно, даже при всех конечных размерах выборки?
[Я могу найти пример смещенной оценки, которая может побить ML в конечных выборках, но это не MoM.]
Примечание добавлено ретроспективно: мой фокус здесь в первую очередь на одномерном случае (именно отсюда и происходит мое любопытство). Я не хочу исключать многовариантные случаи, но я также не хочу особенно углубляться в расширенные обсуждения оценки Джеймса-Стейна.
Ответы:
Это может считаться ... обманом, но оценщик OLS является оценщиком MoM. Рассмотрим стандартную спецификацию линейной регрессии (с стохастическими регрессорами, поэтому величины зависят от матрицы регрессоров) и выборку размера . Обозначим OLS-оценку дисперсии ошибки. Это непредвзято такн с 2 σ 2К n s2 σ2
Теперь рассмотрим MLE . этоσ2
⇒МСЕ( σ 2 M L )=2(п-K)+K2
Мы хотим условия (если они существуют), при которых
2 n 2 - 4 n K + 2 K 2 + n K 2 - K 3 > 2 n 2 - 4 n + 2 K + n K - K 2 > 0 ⇒ K 2 - (
Учитывая это, корни для квадратичногоK
В целом: для образца размером и число регрессоров такое , что мы имеем Для Например, если то обнаруживается, что число регрессоров должно быть чтобы неравенство сохранялось. Интересно, что для небольшого числа регрессоров MLE лучше в смысле MSE.n>12 K ⌈K1⌉<K<⌊K2⌋
ADDENDUMK
Уравнение для корней квадратичного можно записать
55
источник
«В этой статье мы рассмотрим новую параметризацию двухпараметрического обратного гауссовского распределения. Найдем оценки параметров обратного гауссовского распределения методом моментов и методом максимального правдоподобия. Затем сравним эффективность Оценки для двух методов основаны на их смещении и среднеквадратичной ошибке (MSE). Для этого мы фиксируем значения параметров, запускаем симуляции и сообщаем MSE и смещение для оценок, полученных обоими методами. Вывод таков: когда размеры выборки равны 10, метод моментов, как правило, более эффективен, чем метод максимального правдоподобия для оценки обоих параметров (лямбда и тета) .... " подробнее
В настоящее время нельзя (или не следует) доверять всему опубликованному, но последняя страница газеты выглядит многообещающей. Я надеюсь, что это адрес вашей заметки добавлен ретроспективно.
источник
В соответствии с моделированием, проведенным Хоскингом и Уоллисом (1987) в «Оценке параметров и квантилей для обобщенного распределения Парето», параметры двухпараметрического обобщенного распределения Парето задаются в формате cdf.
или плотность
являются более надежными, если они оцениваются с помощью MOM, а не ML. Это верно для образцов размером до 500. Оценки MOM даны
а также
с участием
Бумага содержит довольно много опечаток (по крайней мере, моя версия делает). Приведенные выше результаты для оценок MOM были любезно предоставлены "heropup" в этой теме .
источник
Я нашел один:
Для асимметричного экспоненциального распределения мощности
Delicado and Goria (2008)
. Небольшое сравнение методов максимальной вероятности, моментов и L-моментов для асимметричного экспоненциального распределения мощности,
Журнал «Компьютерная статистика и анализ данных»,
том 52, выпуск 3, январь, стр. 1661-1673.
(также см. http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )
источник
Метод моментов (MM) может превзойти подход максимального правдоподобия (ML), когда можно указать только некоторые моменты совокупности. Если распределение плохо определено, оценки ML не будут согласованы.
Предполагая конечные моменты и внутренние наблюдения, ММ может предоставить хорошие оценки с хорошими асимптотическими свойствами.
Симуляционное исследование:
Патриота и др. (2009) провели ряд имитационных исследований, чтобы проверить частоту отклонения проверок гипотез в модели ошибок в переменных. Результаты свидетельствуют о том, что подход ММ дает частоту ошибок по нулевой гипотезе ближе к номинальному уровню, чем уровень ML для небольших выборок.
Историческая справка:
Метод моментов был предложен К. Пирсоном в 1894 г. «Вклад в математическую теорию эволюции». Метод максимального правдоподобия был предложен Р. А. Фишером в 1922 г. «О математических основах теоретической статистики». Обе статьи опубликованы в «Философских трудах» Лондонского королевского общества, серия А.
Ссылка:
Фишер, Р. А. (1922). О математических основах теоретической статистики, Философские труды Лондонского королевского общества, серия А, 222, 309-368.
Патриота, AG, Bolfarine, H, де Кастро, M (2009). Модель гетероскедастических структурных ошибок в переменных с ошибкой уравнения, Статистическая методология 6 (4), 408-423 ( pdf )
Пирсон, К (1894). Вклад в математическую теорию эволюции, Философские труды Лондонского королевского общества, Серия А, 185, 71-110.
источник
Дополнительные источники в пользу MOM:
Hong, HP и W.E. 2014. Анализ экстремальных снеговых нагрузок для Канады с использованием записей о глубине снега . Природные опасности 73 (2): 355-371.
Мартинс, Е.С. и Дж. Р. Стедингер. 2000. Обобщенные квантильные оценки экстремальных значений максимального правдоподобия для гидрологических данных . Исследование водных ресурсов 36 (3): 737-744.
Абстрактные:
В разделах «Введение» и «Обзор литературы» приводятся дополнительные документы, в которых делается вывод, что MOM в некоторых случаях превосходит MLE (опять же моделирование экстремальных значений), например
K (каппа) является параметром формы GEV.
документы, которые появляются в кавычках:
Хоскинг Дж., Уоллис Дж., Вуд Э. (1985) Оценка обобщенного экстремального распределения методом взвешенных по вероятности моментов . Technometrics 27: 251–261.
Madsen, H., PF Rasmussen и D. Rosbjerg (1997) Сравнение методов годовых максимальных рядов и рядов частичной продолжительности для моделирования экстремальных гидрологических явлений , 1, Моделирование на месте, Water Resour. Res., 33 (4), 747-758.
Хоскинг, JRM, L-моменты: анализ и оценка распределений с использованием линейных комбинаций статистики порядка , JR Stat. Soc., Ser. В, 52, 105-124, 1990.
Кроме того, у меня есть тот же опыт, что и в предыдущих работах, в случае моделирования экстремальных событий с малым и средним размером выборки (<50-100, что типично), MLE может дать нереальные результаты, моделирование показывает, что MOM более устойчив и имеет меньше RMSE.
источник
В процессе ответа на это: Оценка параметров для бинома я наткнулся на эту статью:
Инграм Олкин, А. Джон Петкау, Джеймс В. Зидек: Сравнение N оценок для биномиального распределения. Яса 1981.
источник