В целом кажется, что метод моментов просто сопоставляет наблюдаемое среднее значение выборки или дисперсию с теоретическими моментами для получения оценок параметров. Я понимаю, что это часто то же самое, что и MLE для экспоненциальных семей.
Тем не менее, трудно найти четкое определение метода моментов и четкое обсуждение того, почему MLE, как представляется, в целом предпочтительнее, хотя может быть сложнее найти режим функции вероятности.
Этот вопрос MLE более эффективен, чем метод Момента? есть цитата из проф. Дональда Рубина (из Гарварда), в которой говорится, что с 40-х годов все знают, что MLE побеждает MoM, но мне было бы интересно узнать историю или причины этого.
Ответы:
В MoM оценщик выбирается таким образом, чтобы некоторая функция имела условное ожидание, равное нулю. Например, . Часто ожидание зависит от . Как правило, это преобразуется в задачу минимизации квадратичной формы в этих ожиданиях с помощью весовой матрицы.E[g(y,x,θ)]=0 x
В MLE оценщик максимизирует функцию логарифмического правдоподобия.
В широком обобщении MLE делает более строгие предположения (полная плотность) и, таким образом, обычно менее надежен, но более эффективен, если предположения выполнены (он достигает нижней границы Крамера Рао для асимптотической дисперсии).
В некоторых случаях они совпадают, при этом OLS является одним заметным примером, когда аналитическое решение идентично и, следовательно, оценщик ведет себя одинаково.
В некотором смысле вы можете думать о MLE (почти во всех случаях) как об оценщике MoM, потому что оценщик устанавливает ожидаемое значение градиента логарифмической функции правдоподобия равным нулю. В этом смысле существуют случаи, когда плотность является неправильной, но MLE все еще согласован, поскольку условия первого порядка все еще выполняются. Тогда MLE упоминается как «квази-ML».
источник
В Википедии есть хорошая статья об этом.
https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)
Это означает, что вы оцениваете параметры популяции, выбирая параметры таким образом, чтобы распределение популяции имело моменты, которые эквивалентны наблюдаемым моментам в выборке.
Оценка максимального правдоподобия минимизирует функцию правдоподобия. В некоторых случаях этот минимум иногда можно выразить в терминах установки параметров популяции, равных параметрам выборки.
Например, при оценке среднего параметра распределения и использовании MLE мы часто используем . Однако это не всегда должно быть так (см .: https://stats.stackexchange.com/a/317631/164061, хотя в приведенном здесь примере распределение Пуассона, оценка MLE и MoM совпадают, и То же самое верно и для многих других). Например, решение MLE для оценки в нормальном распределении журнала :μ=x¯ μ
В то время как решение MoM решает
Таким образом, MoM - это практический способ оценки параметров, который часто приводит к тому же результату, что и MLE (поскольку моменты выборки часто совпадают с моментами совокупности, например, среднее значение выборки распределено вокруг среднего значения совокупности, и до некоторого фактора / смещения, это работает очень хорошо). MLE имеет более прочную теоретическую основу и, например, позволяет оценивать ошибки, используя матрицу Фишера (или ее оценки), и это гораздо более естественный подход в случае проблем регрессии (я не пробовал, но я предполагаю, что МО для решения параметров в простой линейной регрессиине работает легко и может дать плохие результаты. В ответе superpronker кажется, что это делается путем некоторой минимизации функции. Для MLE эта минимизация выражает более высокую вероятность, но мне интересно, представляет ли она такую же вещь для MoM).
источник
Извините, я не могу мимо комментариев ...
На самом деле, в MITx « Основы статистики » мы говорим об обратном: MoM полагается на конкретное уравнение моментов, и если мы подбираем неправильную плотность, мы делаем совершенно неправильно, в то время как MLE более устойчив, поскольку мы во всех случаях минимизируем расхождение КД ..
источник