Я думаю, я уже понял математическое определение непротиворечивой оценки. Поправьте меня если я ошибаюсь:
- непротиворечивая оценка для if \ forall \ epsilon> 0
Где - Параметрическое Пространство. Но я хочу понять, что оценка должна быть последовательной. Почему оценка, которая не соответствует, плоха? Не могли бы вы привести несколько примеров?
Я принимаю симуляции в R или Python.
Ответы:
Если оценка не согласована, она не будет сходиться к истинному значению вероятности . Другими словами, всегда существует вероятность того, что ваш оценщик и истинное значение будут иметь различие, независимо от того, сколько точек данных у вас есть. Это на самом деле плохо, потому что даже если собрать огромное количество данных, ваша оценка будет всегда иметь положительную вероятность быть некоторыеϵ>0 отличается от истинного значения. Практически, вы можете рассматривать эту ситуацию так, как будто вы используете оценщик такого количества, что даже обследование всего населения вместо небольшой выборки не поможет вам.
источник
Рассмотримn=10000 наблюдений из стандартного распределения Коши, которое совпадает с t-распределением Стьюдента с 1 степенью свободы. Хвосты этого распределения достаточно тяжелые, что не имеет значения; распределение сосредоточено в его медианеη=0.
Последовательность выборки означаетAJ= 1JΣJя = 1Икся не согласуется для центра распределения Коши. Грубо говоря, трудность состоит в том, что очень экстремальные наблюденияИкся (положительные или отрицательные) происходят с достаточной регулярностью, так что уAJ нет шансовсходиться кη= 0 (AJ не просто медленно сходятся, они не не сходятся. РаспределениеAJ снова стандартно по Коши [доказательство].)
Напротив, на любом одном этапе непрерывного процесса выборки около половины наблюденийИкся будут лежать по обе стороны от η, так что последовательность ЧАСJ выборочных медиан действительно сходится к η,
Это отсутствие сходимостиAJ и сходимости ЧАСJ иллюстрируется следующим моделированием.
Вот список шагов, на которых| Икся|>1000. Вы можете увидеть влияние некоторых из этих экстремальных наблюдений на скользящие средние на графике слева (у вертикальных красных пунктирных линий).
Согласованность важного в оценке: при выборке из популяции Коши среднее значение выборки изn=10000 наблюдений не лучше для оценки центраη чем одно наблюдение. Напротив, согласованная медиана выборки сходится кη, поэтому более крупные выборки дают лучшие оценки.
источник
Действительно простой пример того, почему важно думать о согласованности, которая, я думаю, не привлекает достаточного внимания, - это упрощенная модель.
В качестве теоретического примера, предположим, что вы хотите подогнать модель линейной регрессии к некоторым данным, в которой истинные эффекты были на самом деле нелинейными. Тогда ваши прогнозы не могут быть последовательными для истинного среднего значения для всех комбинаций ковариат, в то время как более гибкие могут это сделать. Другими словами, упрощенная модель будет иметь недостатки, которые нельзя преодолеть, используя больше данных.
источник
@BruceET уже дал отличный технический ответ, но я хотел бы добавить пункт о толковании всего этого, хотя.
Одним из фундаментальных понятий в статистике является то, что с увеличением размера нашей выборки мы можем сделать более точные выводы о нашем основном распределении. Вы можете думать об этом как о том, что взятие большого количества выборок устраняет случайный джиттер в данных, поэтому мы получаем лучшее представление о базовой структуре.
Теперь требовать, чтобы оценщик был непротиворечивым, означает, что он также следует этому правилу: поскольку его работа заключается в оценке неизвестного параметра, мы хотели бы, чтобы он сходился к этому параметру (читай: оцените этот параметр произвольно хорошо) в качестве нашей выборки размер стремится к бесконечности.
Уравнение
источник