Что подразумевается под стандартной ошибкой оценки максимального правдоподобия?

21

Я математик, самостоятельно изучающий статистику и особенно борющийся с языком.

В книге, которую я использую, есть следующая проблема:

Случайная переменная задается как распределяется с . (Конечно, для этого вопроса можно взять любое распределение в зависимости от одного параметра.) Затем приводится выборка из пяти значений , , , , .Парето ( α , 60 ) α > 0 14 21 6 32 2XPareto(α,60)α>014216322

Первая часть: «Использование метода максимального правдоподобия, найти оценку из на основе [образец].» Это не было проблемой. Ответ: . ; & alpha ; & alpha ; ≈4,6931α^αα^4.6931

Но затем: «Дайте оценку для стандартной ошибки ».α^

Что подразумевается под этим? Поскольку - это просто фиксированное действительное число, я не вижу, каким образом оно может иметь стандартную ошибку. Должен ли я определить стандартное отклонение ? Парето( α ,60)α^Pareto(α^,60)

Если вы думаете, что вопрос не ясен, эта информация также поможет мне.

Стефан
источник
Что означает ? 60
Алекос Пападопулос
У вас есть формула для ? Это поможет вам оценить его стандартную ошибку. α^
Soakley
1
@Glen_b Но если бы это был нижний предел, как могло бы быть так, чтобы все значения реализованной выборки были меньше?
Алекос Пападопулос
1
@Alecos Это отличный момент. Мой комментарий не имеет смысла; Я удалил это.
Glen_b
1
@Alecos: - это распределение с плотностью . f ( x ) = α λ αPareto(α,λ)f(x)=αλα(λ+x)α+1
Стефан

Ответы:

17

Другой ответ охватил происхождение стандартной ошибки, я просто хочу помочь вам с обозначениями:

Ваша путаница связана с тем, что в статистике мы используем точно такой же символ для обозначения оценщика (который является функцией) и конкретной оценки (которая является значением, которое оценщик принимает, когда получает в качестве входных данных конкретную реализованную выборку).

Таким образом , α = ч ( Х ) и α ( Х = х ) = 4,6931 для й = { 14 ,α^знак равночас(Икс)α^(Иксзнак равноИкс)знак равно4,6931 . Таким образом , α ( X ) является функцией случайных величин и так самой случайной величины, чтобезусловноимеет дисперсию. Иксзнак равно{14,21,6,32,2}α^(Икс)

При оценке ML во многих случаях мы можем вычислить асимптотическую стандартную ошибку, поскольку распределение оценки по конечной выборке неизвестно (не может быть получено).

Строго не имеет асимптотическое распределение, так как она сходится к действительному числу (истинное число почти во всех случаях оценки ML). Но количество α^сходится к нормальной случайной величины (путем применения центральной предельной теоремы).N(α^-α)

Вторая точка нотационной путаницы : большинство, если не все тексты, будут писать ( «аварский» = асимптотическую дисперсию ") , а то , что они имели в виду это аварский ( Авар(α^), то есть они относятся к асимптотической дисперсии величиныАвар(N(α^-α)),не альфа ... Для случая основного распределения Парето мы имеемN(α^-α)α^

Авар[N(α^-α)]знак равноα2

и так

Авар(α^)знак равноα2/N

(но то , что вы найдете написанное ) Авар(α^)знак равноα2

Теперь, в каком смысле оценщик α имеет «асимптотическую дисперсию», так как сказано, асимптотически сходится к константе? Ну, в приблизительном смысле и для больших, но конечных выборок. Т.е. где-то между «малой» выборкой, где Оценщик является случайной величиной с (обычно) неизвестным распределением, и «бесконечной» выборкой, где оценщик является постоянной величиной, существует эта «большая, но конечная территория выборки», где Оценщик еще не стал константой, и где его распределение и дисперсия получены окольным путем, сначала используя Центральную предельную теорему, чтобы получить правильно асимптотическое распределение величины Z = α^(который является нормальным изза CLT), а затем повернуть вещи вокруг и писать α = 1Zзнак равноN(α^-α)(при приеме один шаг назад и леченийпкак конечные)который показывает& alphaкачестве аффинной функции нормального случайной величиныZ, и поэтому обычно себя распределен (всегда приблизительно).α^знак равно1NZ+αNα^Z

Алекос Пападопулос
источник
+1 для различения между альфа и α^- конечнообозначение может быть несовместимыми. n(α^α)
Нейт Папа
21

- это оценка максимального правдоподобия - это функция случайной выборки, и поэтому также случайным(не фиксируется). Оценка стандартной ошибки & alpha ; может быть получена из информации Фишера,α^α^

я(θ)знак равно-Е[2L(θ|Yзнак равноY)θ2|θ]

Где - параметр, а L ( θ | Y = y ) - логарифмическая функция правдоподобия θ, условная для случайной выборки y . Интуитивно понятно, что информация Фишера указывает крутизну кривизны логарифмической поверхности правдоподобия вокруг MLE и, таким образом, количество «информации», которую у обеспечивает около θ .θL(θ|Yзнак равноY)θYYθ

Для распределения с одной реализацией Y = y логарифмическая вероятность, где y 0 , известна:пaреTо(α,Y0)Yзнак равноYY0

Подсоединение к определению информации Фишера, I(α)=1

L(α|Y,Y0)знак равножурналα+αжурналY0-(α+1)журналYL'(α|Y,Y0)знак равно1α+журналY0-журналYL"(α|Y,Y0)знак равно-1α2
Для образца{у1,у2,. , , ,Уп}максимального правдоподобия оценки α асимптотически распределены следующим образом: & alpha ; п ~ N (α, 1
я(α)знак равно1α2
{Y1,Y2,,,,,YN}α^ гдеn- размер выборки. Посколькуαнеизвестно, можно подключитьальфачтобы получить оценку стандартной ошибки: SЕ(& alpha)
α^~NN(α,1Nя(α))знак равноN(α,α2N), 
Nαα^
SЕ(α^)α^2/N4,69312/52,1
Нейт Папа
источник
1
α^~NN(α,1Nя(α))NNα^˙N(α,1Nя(α))