Является ли MLE из асимптотически нормальным, когда ?

10

Предположим, что имеет PDF(X,Y)

fθ(x,y)=e(x/θ+θy)1x>0,y>0,θ>0

Плотность выборки взятой из этой совокупности, поэтому(X,Y)=(Xi,Yi)1in

gθ(x,y)=i=1nfθ(xi,yi)=exp[i=1n(xiθ+θyi)]1x1,,xn,y1,,yn>0=exp[nx¯θθny¯]1x(1),y(1)>0,θ>0

Оценка максимального правдоподобия может быть получена какθ

θ^(X,Y)=X¯Y¯

Я хотел бы знать, является ли предельное распределение этого MLE нормальным или нет.

Ясно, что достаточной статистикой для на основе выборки является .θ(X¯,Y¯)

Теперь я бы сказал, что MLE асимптотически нормален, без сомнения, если бы он был членом регулярного однопараметрического экспоненциального семейства. Я не думаю, что это так, отчасти потому, что у нас есть двумерная достаточная статистика для одномерного параметра (как, например, в распределении ).N(θ,θ2)

Используя тот факт, что и на самом деле являются независимыми экспоненциальными переменными, я могу показать, что точное распределение таково, чтоXYθ^

θ^θ=dF, where FF2n,2n

Я не могу продолжить, чтобы найти предельное распределение отсюда.

Вместо этого я могу утверждать, что WLLN и , так что ,X¯PθY¯P1/θθ^Pθ

Это говорит мне, что сходится в распределении к . Но это не является сюрпризом, так как является "хорошей" оценкой . И этот результат недостаточно силен, чтобы сделать вывод, является ли что-то вроде асимптотически нормальным или нет. Я не мог придумать разумный аргумент, используя CLT либо.θ^θθ^θn(θ^θ)

Таким образом, остается вопрос, удовлетворяет ли родительское распределение здесь условиям регулярности для нормального предельного распределения MLE.

StubbornAtom
источник
Опытным путем это кажется очень близким к нормальному. Возможно, вам будет проще установить в (это только масштабный коэффициент), а затем рассмотреть вопрос о том, является ли распределение квадратного корня из отношения средних значений выборки случайных величин экспоненты асимптотически нормальным. Используя дельта-метод, это соответствует распределению отношения средних выборок экспоненциальных случайных величин, являющихся асимптотически нормальными. И это соответствует распределению отношения двух случайных величин гамма-излучения, которое асимптотически нормально по мере увеличения параметра формы. 1θ1
Генри
Асимптотическая нормальность MLE не имеет ничего общего с экспоненциальными семействами. Интуитивно понятно, что для удержания асимптотической нормальности вам просто нужно убедиться, что нет никаких шансов, что решение окажется вблизи границы пространства параметров.
whuber
@whuber Насколько я знаю, PDF-файлы, которые являются членами канонического экспоненциального семейства, почти всегда имеют MLE, которые асимптотически нормальны (не потому, что это связано с семейством exp). Это та связь, которую я пытался указать.
StubbornAtom
1
Правильно: но связь односторонняя. Асимптотические результаты для MLE являются гораздо более общими, и поэтому я пытался предположить, что поиск в этом общем направлении, а не сосредоточение внимания на свойствах экспоненциальных семейств, может быть более плодотворным исследованием.
whuber
Доказательство с использованием многомерного CLT и дельта-метода также возможно, как это сделано здесь .
StubbornAtom

Ответы:

3

Прямое доказательство асимптотической нормальности:

Логарифмическая вероятность здесь

L=nx¯θθny¯

Первое и второе производные

Lθ=nx¯θ2ny¯,2Lθ2=2nx¯θ3

MLE удовлетворяетθ^n

L(θ^n)θ=0

Применяя расширение среднего значения к истинному значению мы имеемθ0

L(θ^n)θ=L(θ0)θ+2L(θ~n)θ2(θ^nθ0)=0

для некоторого между и . Перестройка у нас есть,θ~nθ^nθ0

(θ^nθ0)=(2L(θ~n)θ2)1L(θ0)θ

Но в нашем случае с одним параметром обратное является просто обратным, поэтому, вставляя также конкретные выражения производных,

(θ^nθ0)=θ~n32nx¯(nx¯θ02ny¯)

n(θ^nθ0)=θ~n32x¯θ02n(x¯θ02y¯)

n(θ^nθ0)=θ~n32x¯θ02(n1/2i=1n(xiθ02yi))

Дисперсия суммы

Var(i=1n(xiθ02yi))=2nθ02

Управляя выражением, которое мы можем написать, используя для суммы элементов iid,Sn

n(θ^nθ0)=(θ~n32x¯θ0)i=1n(xiθ02yi)n2θ0

n(θ^nθ0)=(θ~n32x¯θ0)SnVar(Sn)

Более того, мы имеем , поэтому . Таким образом, у нас есть предмет классического CLT, и можно проверить, что условие Линдеберга выполнено. Это следует из тогоE(xiθ02yi)=0E(Sn)=0

SnVar(Sn)dN(0,1)

Из-за непротиворечивости оценки, мы также имеем

(θ~n32x¯θ0)pθ02

и по теореме Слуцкого мы приходим к

n(θ^nθ0)dN(0,θ02/2)

Ницца. Удвоение информации, половина дисперсии (по сравнению со случаем, когда мы будем оценивать на основе выборки из одной случайной величины).θ0

PS: тот факт, что в приведенных выше выражениях появляется в знаменателе, указывает на комментарий @ whuber о том, что асимптотической нормальности MLE требуется, чтобы неизвестный параметр находился далеко от границы пространства параметров (в нашем случае, от нуля).θ0

Алекос Пападопулос
источник
Извините за задержку с ответом. Все это время я размышлял о том, является ли это изогнутой экспоненциальной семьей, и поэтому MLE может вести себя по-другому.
StubbornAtom
1
@StubbornAtom Асимптотическая нормальность, безусловно, теряется, когда оцениваемый параметр находится на границе параметра (довольно интуитивный результат, если подумать).
Алекос Пападопулос