Существуют ли асимптотики третьего порядка?

14

Большинство асимптотических результатов в статистике доказывают, что при оценка (такая как MLE) сходится к нормальному распределению, основанному на разложении функции правдоподобия Тейлора второго порядка. Я полагаю, что в байесовской литературе есть аналогичный результат, «Байесовская центральная предельная теорема», которая показывает, что апостериорный апостериор сходится к нормали при n nn

Мой вопрос - сходится ли распределение к чему-то «до того», как оно станет нормальным, основываясь на третьем члене ряда Тейлора? Или это вообще невозможно сделать?

gabgoh
источник
(+1) .. хороший вопрос. Байесовская центральная предельная теорема называется аппроксимацией Лапласа, т. Е. Апостериор ведет себя «более или менее» как нормальное распределение. (формально апостериорный сходится в распределении к нормальному распределению)
suncoolsu
Связанный: stats.stackexchange.com/questions/191492/…
kjetil b halvorsen

Ответы:

5

Последовательность не может «сходиться» к одному, а затем к другому. Члены высшего порядка в асимптотическом разложении будут стремиться к нулю. Они говорят вам, насколько они близки к нулю для любого заданного значения .n

Для центральной предельной теоремы (в качестве примера) подходящим является расширение логарифма характеристической функции: производящей функции кумулянта (cgf). Стандартизация распределений фиксирует нулевой, первый и второй члены cgf. Остальные члены, коэффициенты которых являются кумулянтами , зависят от упорядоченным образом. Стандартизации , что происходит в ЦПТ (деления суммы п случайных величин чем - то , пропорциональной п 1 / 2 --without , который не будет происходить сходимость) приводит к тому , м е кумулянт - которые в конечном счете , зависит от т - й минуты - к разделить на ( пnnn1/2mthmth , но в то же самое времяпотому что мы суммированиептермины, чистый результатом является точто м - й срока порядка пропорциональнап / п м / 2 = п - ( т - 2 ) / 2 . Таким образом, третий кумулянт стандартизированной суммы пропорционален1 / п 1 / 2 , четвертый кумулянт пропорциональна1 / п(n1/2)m=nm/2nmthn/nm/2=n(m2)/21/n1/21/n, и так далее. Это члены высшего порядка. (Подробности см. В этой статье Ювала Фильмуса, например.)

nnnn1/n1/21/nтермин - это более мелкая, более быстро исчезающая коррекция, добавленная к этому, и так далее. Вкратце, дополнительные термины дают представление о том, как быстро последовательность приближается к своему пределу.

n1/n1/2

Whuber
источник
почему-то я не нахожу ваш ответ полностью убедительным. Я согласен, что распределение должно быть «растянуто», и что неправильно говорить, что оно сходится к X, прежде чем оно сходится к нормальному. Это было бы ошибкой с моей стороны. Тем не менее, я думаю, что должен существовать какой-то способ масштабирования распределения так, чтобы только четвертый порядок и выше «моменты» шли к нулю. Мне нужно немного подумать о том, как именно будет выглядеть этот коэффициент масштабирования, если бы такое существовало
gabgoh
2
@Gabgoh Я хотел бы услышать больше о том, какие аспекты ответа являются слабыми. Что касается масштабирования, вы застряли: вы уже использовали эту возможность для стандартизации элементов последовательности. Если (гипотетически) какая-либо форма масштабирования не позволит третьим моментам перейти в ноль, то вы будете противоречить CLT, поскольку предельное распределение не будет нормальным. Есть связанная проблема с асимптотикой оценок. Часто вы можете настроить оценщик так, чтобы асимптотически убивать более высокие моменты (например, с помощью начальной загрузки): но это все равно не может быть выполнено одним масштабированием.
whuber
3

Вот попытка ответить на ваш проницательный вопрос. Я видел включение 3-го члена ряда Тейлора для увеличения скорости сходимости ряда к истинному распределению. Тем не менее, я не видел (в своем ограниченном опыте) использование третьего и более высоких моментов.

Как указал Джон Д. Кук в своих блогах ( здесь и здесь ), не было проделано большой работы в этом направлении, кроме теоремы Берри-Эссеена . Мое предположение было бы (из наблюдения в блоге об ошибке аппроксимации, ограниченнойN1/2), поскольку асимптотическая нормальность mle гарантируется при скорости схода N1/2 (N(размер выборки), учитывая более высокие моменты, результат нормальности не улучшится.

Поэтому, думаю, ответ на ваш вопрос должен быть нет . Асимптотическое распределение сходится к нормальному дист. (По CLT, в условиях регулярности CLT Линдберга). Однако использование членов более высокого порядка может увеличить скорость сходимости к асимптотическому распределению.

suncoolsu
источник
3

Определенно не моя область, но я уверен, что асимптотики третьего и высшего порядка существуют. Это какая-то помощь?

Роберт Л. Страудерман. Асимптотическая аппроксимация высшего порядка: Laplace, Saddlepoint и смежные методы Журнал Американской статистической ассоциации Vol. 95, No. 452 (Dec., 2000), pp. 1358-1364.

универсальный
источник