Когда максимальное правдоподобие и метод моментов дают одинаковые оценки?

17

Мне задали этот вопрос на днях, и я никогда не рассматривал его раньше.

Моя интуиция исходит из преимуществ каждого оценщика. Максимальная вероятность, предпочтительно, когда мы уверены в процессе генерирования данных, потому что, в отличие от метода моментов, он использует знания всего распределения. Поскольку оценки MoM используют только информацию, содержащуюся в моментах, кажется, что оба метода должны давать одинаковые оценки, когда достаточная статистика для параметра, который мы пытаемся оценить, является именно моментами данных.

Я проверил этот результат с несколькими раздачами. Нормальная (неизвестное среднее и дисперсия), экспоненциальная и пуассоновская имеют достаточную статистику, равную их моментам, и имеют одинаковые оценки MLE и MoM (не совсем верно для таких вещей, как Пуассон, где имеется несколько оценок MoM). Если мы посмотрим на Uniform , достаточной статистикой для будет а оценки MoM и MLE различны.(0,θ)θМаксимум(Икс1,,ИксN)

Я подумал, что, возможно, это была причуда экспоненциального семейства, но для Лапласа с известным средним достаточной статистикой является 1NΣ|Икся|и MLE и оценщик MoM для дисперсии не равны.

Я до сих пор не смог показать какой-либо результат в целом. Кто-нибудь знает об общих условиях? Или даже встречный пример поможет мне уточнить мою интуицию.

Перевернутый
источник
4
MM и MLE совпадают для канонического параметра в экспоненциальных семействах. Но преобразование обычно означает, что вы теряете эту эквивалентность (что также подтверждается ответом Сианя).
Хейзеб

Ответы:

16

Общий ответ заключается в том, что оценка, основанная на методе моментов, не является инвариантной при биективном изменении параметризации, а оценка максимального правдоподобия является инвариантной. Поэтому они почти никогда не совпадают. (Почти никогда через все возможные преобразования.)

Кроме того, как указано в вопросе, существует множество оценок MoM. На самом деле их бесконечность. Но все они основаны на эмпирическом распределении, , которое можно рассматривать как непараметрическое MLE для , хотя это не относится к вопросу.F^F

На самом деле, более подходящий способ сформулировать вопрос - спросить, когда оценка момента достаточна, но это вынуждает распределять данные из экспоненциального семейства, согласно лемме Питмана-Купмана, когда ответ уже известный.

Примечание: в распределении Лапласа, когда известно среднее значение, задача эквивалентна наблюдению абсолютных значений, которые затем являются экспоненциальными вариациями и частью экспоненциального семейства.

Сиань
источник
1
Существует ли вообще параметризация, для которой MM и MLE равны?
Потенциал роста
1
Для экспоненциальных семейств средняя параметризация приводит к равенству. Вне экспоненциальных семей я не уверен.
Сиань