Проблема возникла раньше, но я хочу задать конкретный вопрос, который попытается получить ответ, который прояснит (и классифицирует) его:
В «Асимптотике бедного человека» проводится четкое различие между
- (а) последовательность случайных величин, сходящаяся по вероятности к константе
в отличие от
- (б) последовательность случайных величин, которая сходится по вероятности к случайной переменной (и, следовательно, по распределению к ней).
Но в «Асимптотике мудреца» мы также можем иметь случай
- (c) последовательность случайных величин, которая сходится по вероятности к константе, сохраняя ненулевую дисперсию на пределе.
Мой вопрос (кража из моего собственного исследовательского ответа ниже):
Как мы можем понять оценку, которая асимптотически непротиворечива, но также имеет ненулевую конечную дисперсию? Что отражает эта разница? Чем его поведение отличается от «обычной» последовательной оценки?
Темы, связанные с явлением, описанным в (c) (смотрите также в комментариях):
mathematical-statistics
variance
convergence
asymptotics
consistency
Алекос Пападопулос
источник
источник
Ответы:
27-10-2014: К сожалению (для меня это так), никто еще не дал здесь ответ - возможно, потому что это выглядит как странная, "патологическая" теоретическая проблема и ничего более?
Хорошо, чтобы процитировать комментарий для пользователя Cardinal (который я буду позже исследовать)
Здесь случайная переменная - это , поэтому давайте посмотрим, что мы можем сказать по этому поводу. Переменная поддерживает с соответствующими вероятностями . Это симметрично вокруг нуля, поэтому мы имеем { - a n , 0 , a n } { 1 / n 2 , 1 -Zn
{−an,0,an} {1/n2,1−2/n2,1/n2}
Эти моменты не зависят от так что я думаю, что нам разрешено писать тривиальноN
В «Асимптотике бедняка» мы знаем об условии, что пределы моментов равны моментам предельного распределения. Если момент конечного случая распределения сходится к константе (как в нашем случае), то, кроме того, еслир
предел момента будет моментом предельного распределения. В нашем случаерр р
Для это расходится для любого , поэтому это достаточное условие не выполняется для дисперсии (оно действительно для среднего). Возьмем другой путь: каково асимптотическое распределение ? ли CDF к невырожденному CDF на пределе?δ > 0 Z n Z nr ≥ 2 δ> 0
ZN ZN
Это не похоже на это: ограничивающая поддержка будет (если нам разрешено писать это), и соответствующие вероятности . Выглядит как константа для меня. Но если у нас нет предельного распределения в первую очередь, как мы можем говорить о его моментах? { 0 , 1 , 0 }{ - ∞ , 0 , ∞ } { 0 , 1 , 0 }
Затем, возвращаясь к , поскольку также сходится к константе, кажется, что ˉ Х пθ^N Икс¯N
Как мы можем это понять? Что это говорит нам об оценке? Какова существенная разница на границе между и ? ~ θ п= ˉ Х пθ^Nзнак равноX¯N+ZN θ~Nзнак равноX¯N
источник
Я не буду давать удовлетворительный ответ на ваш вопрос, потому что он мне кажется слишком открытым, но позвольте мне попытаться пролить свет на то, почему этот вопрос сложный.
Я думаю, что вы боретесь с тем фактом, что обычные топологии, которые мы используем для распределения вероятностей и случайных величин, являются плохими. Я написал более крупную статью об этом в своем блоге, но позвольте мне подвести итог: вы можете сходиться в слабом (и полном вариативном) смысле, нарушая общепринятые предположения о том, что означает конвергенция.
Например, вы можете сходиться в слабой топологии к константе, имея дисперсию = 1 (это именно то, что делает ваша последовательность ). Затем существует предельное распределение (в слабой топологии), которое является этой чудовищной случайной величиной, которая в большинстве случаев равна 0, но бесконечно редко редко равна бесконечности.ZN
Я лично понимаю, что это означает, что слабая топология (и топология полного изменения) является плохим понятием сходимости, от которого следует отказаться. Большинство конвергенций, которые мы на самом деле используем, сильнее этого. Тем не менее, я не знаю, что мы должны использовать вместо слабой топологии ооочень ...
Если вы действительно хотите найти существенную разницу между и , вот мое : обе оценки эквивалентны потере [0,1] (когда размер вашей ошибки не имеет значения). Однако, намного лучше, если размер ваших ошибок имеет значение, потому что иногда терпит неудачу катастрофически. ~ & thetas ; = ˉ Х ~ & thetas ; & thetas ;θ^= X¯+ ZN θ~= X¯ θ~ θ^
источник
Оценщик непротиворечив в вероятности, но не в MSE, если существует произвольно малая вероятность взрыва оценщика. Хотя интересное математическое любопытство, для любых практических целей это не должно вас беспокоить. Для любой практической цели оценщики имеют конечные опоры и поэтому не могут взорваться (реальный мир не бесконечно мал и не велик).
Если вы все еще хотите призвать к непрерывному приближению «реального мира», и ваше приближение таково, что оно сходится по вероятности, а не в MSE, то примите это так, как есть: ваш оценщик может быть прав с произвольно большой вероятностью, но всегда будет сколь угодно малая вероятность его взрыва. К счастью, когда это произойдет, вы заметите, так что в противном случае вы можете доверять этому. :-)
источник