Предположим, что имеет PDF
Плотность выборки взятой из этой совокупности, поэтому
Оценка максимального правдоподобия может быть получена как
Я хотел бы знать, является ли предельное распределение этого MLE нормальным или нет.
Ясно, что достаточной статистикой для на основе выборки является .
Теперь я бы сказал, что MLE асимптотически нормален, без сомнения, если бы он был членом регулярного однопараметрического экспоненциального семейства. Я не думаю, что это так, отчасти потому, что у нас есть двумерная достаточная статистика для одномерного параметра (как, например, в распределении ).
Используя тот факт, что и на самом деле являются независимыми экспоненциальными переменными, я могу показать, что точное распределение таково, что
Я не могу продолжить, чтобы найти предельное распределение отсюда.
Вместо этого я могу утверждать, что WLLN и , так что ,
Это говорит мне, что сходится в распределении к . Но это не является сюрпризом, так как является "хорошей" оценкой . И этот результат недостаточно силен, чтобы сделать вывод, является ли что-то вроде асимптотически нормальным или нет. Я не мог придумать разумный аргумент, используя CLT либо.
Таким образом, остается вопрос, удовлетворяет ли родительское распределение здесь условиям регулярности для нормального предельного распределения MLE.
Ответы:
Прямое доказательство асимптотической нормальности:
Логарифмическая вероятность здесь
Первое и второе производные
MLE удовлетворяетθ^n
Применяя расширение среднего значения к истинному значению мы имеемθ0
для некоторого между и . Перестройка у нас есть,θ~n θ^n θ0
Но в нашем случае с одним параметром обратное является просто обратным, поэтому, вставляя также конкретные выражения производных,
Дисперсия суммы
Управляя выражением, которое мы можем написать, используя для суммы элементов iid,Sn
Более того, мы имеем , поэтому . Таким образом, у нас есть предмет классического CLT, и можно проверить, что условие Линдеберга выполнено. Это следует из тогоE(xi−θ20yi)=0 E(Sn)=0
Из-за непротиворечивости оценки, мы также имеем
и по теореме Слуцкого мы приходим к
Ницца. Удвоение информации, половина дисперсии (по сравнению со случаем, когда мы будем оценивать на основе выборки из одной случайной величины).θ0
PS: тот факт, что в приведенных выше выражениях появляется в знаменателе, указывает на комментарий @ whuber о том, что асимптотической нормальности MLE требуется, чтобы неизвестный параметр находился далеко от границы пространства параметров (в нашем случае, от нуля).θ0
источник