Мне задали этот вопрос на днях, и я никогда не рассматривал его раньше.
Моя интуиция исходит из преимуществ каждого оценщика. Максимальная вероятность, предпочтительно, когда мы уверены в процессе генерирования данных, потому что, в отличие от метода моментов, он использует знания всего распределения. Поскольку оценки MoM используют только информацию, содержащуюся в моментах, кажется, что оба метода должны давать одинаковые оценки, когда достаточная статистика для параметра, который мы пытаемся оценить, является именно моментами данных.
Я проверил этот результат с несколькими раздачами. Нормальная (неизвестное среднее и дисперсия), экспоненциальная и пуассоновская имеют достаточную статистику, равную их моментам, и имеют одинаковые оценки MLE и MoM (не совсем верно для таких вещей, как Пуассон, где имеется несколько оценок MoM). Если мы посмотрим на Uniform , достаточной статистикой для будет а оценки MoM и MLE различны.
Я подумал, что, возможно, это была причуда экспоненциального семейства, но для Лапласа с известным средним достаточной статистикой является и MLE и оценщик MoM для дисперсии не равны.
Я до сих пор не смог показать какой-либо результат в целом. Кто-нибудь знает об общих условиях? Или даже встречный пример поможет мне уточнить мою интуицию.
Ответы:
Общий ответ заключается в том, что оценка, основанная на методе моментов, не является инвариантной при биективном изменении параметризации, а оценка максимального правдоподобия является инвариантной. Поэтому они почти никогда не совпадают. (Почти никогда через все возможные преобразования.)
Кроме того, как указано в вопросе, существует множество оценок MoM. На самом деле их бесконечность. Но все они основаны на эмпирическом распределении, , которое можно рассматривать как непараметрическое MLE для , хотя это не относится к вопросу.F^ F
На самом деле, более подходящий способ сформулировать вопрос - спросить, когда оценка момента достаточна, но это вынуждает распределять данные из экспоненциального семейства, согласно лемме Питмана-Купмана, когда ответ уже известный.
источник