Предположения относительно начальных оценок неопределенности

Я ценю полезность начальной загрузки при получении оценок неопределенности, но меня всегда беспокоит одна вещь: распределение, соответствующее этим оценкам, является распределением, определяемым выборкой. В целом, кажется плохой идеей полагать, что частоты наших выборок выглядят точно так же, как и базовое распределение, так почему обоснованно / приемлемо получать оценки неопределенности на основе распределения, где частоты выборки определяют базовое распределение?

С другой стороны, это может быть не хуже (возможно, лучше), чем другие предположения о распределении, которые мы обычно делаем, но я все же хотел бы немного лучше понять обоснование.

Есть несколько способов, которыми можно разумно применить бутстрап. Два самых основных подхода - это то, что называется «непараметрическим» и «параметрическим» бутстрапом. Второй предполагает, что используемая модель (по существу) является правильной.

Давайте сосредоточимся на первом. Мы предполагаем , что у вас есть случайный образец распределенного в соответствии с функцией распределения . (Предполагается, что в противном случае требуются модифицированные подходы.) Пусть будет эмпирическим кумулятивным распределением функция. Большая часть мотивации для начальной загрузки исходит из нескольких фактов.$X_1, X_2, \ldots, X_n$$F$$\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Неравенство Дворецкого – Кифера – Вулфовица

Что это свидетельствует о том , что эмпирическая функция распределения сходится равномерно к истинной функции распределения экспоненциально быстро по вероятности. Действительно, это неравенство в сочетании с леммой Бореля – Кантелли сразу показывает, что почти наверняка.$\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

На форме нет дополнительных условий, гарантирующих эту сходимость.$F$

Эвристически, тогда, если нас интересует некоторый функционал гладкой функции распределения , то мы ожидаем, что будет близко к .$T(F)$$T(\hat{F}_n)$$T(F)$

(Точечно) Беспристрастность$\hat{F}_n(x)$

Простая линейность ожидания и определение для каждого ,$\hat{F}_n(x)$$x \in \mathbb{R}$

Предположим, нас интересует среднее значение . Тогда беспристрастность эмпирической меры распространяется на беспристрастность линейных функционалов эмпирической меры. Итак, $\mu = T(F)$

Таким образом, в среднем является правильным, и поскольку быстро приближается к , то (эвристически) быстро приближается к .$T(\hat{F}_n)$$\hat{F_n}$$F$$T(\hat{F}_n)$$T(F)$

Чтобы построить доверительный интервал ( который, по сути, является тем, что представляет собой бутстрап ), мы можем использовать центральную предельную теорему, согласованность эмпирических квантилей и дельта-метод в качестве инструментов для перехода от простых линейных функционалов к более сложной статистике, представляющей интерес ,

Хорошие ссылки

1. Б. Эфрон, Методы начальной загрузки: еще один взгляд на складной нож , Энн. Стат. том 7, нет. 1, 1–26.
2. Б. Эфрон и Р. Тибширани . Введение в бутстрап , Чепмен-Холл, 1994.
3. Г. А. Янг и Р. Л. Смит, Основы статистического вывода , издательство Кембриджского университета, 2005, глава 11 .
4. А. В. ван дер Ваарт, Асимптотическая статистика , издательство Кембриджского университета, 1998, глава 23 .
5. П. Бикель и Д. Фридман, Некоторые асимптотические теории для бутстрапа . Анна. Стат. том 9, нет. 6 (1981), 1196–1217.

Вот другой подход к размышлению об этом:

Начнем с теории, где мы знаем истинное распределение, мы можем обнаружить свойства выборочной статистики, моделируя из истинного распределения. Так Госсет разработал t-распределение и t-критерий, выбирая из известных нормалей и вычисляя статистику. На самом деле это форма параметрической начальной загрузки. Обратите внимание, что мы моделируем, чтобы обнаружить поведение статистики (иногда относительно параметров).

Теперь, что если мы не знаем распределения населения, у нас есть оценка распределения в эмпирическом распределении, и мы можем сделать выборку из этого. Взяв выборку из эмпирического распределения (которое известно), мы можем увидеть взаимосвязь между образцами начальной загрузки и эмпирическим распределением (совокупностью для выборки начальной загрузки). Теперь мы сделаем вывод, что отношение от выборок начальной загрузки к эмпирическому распределению такое же, как и от выборки к неизвестной популяции. Конечно, насколько хорошо эти отношения преобразуются, будет зависеть от того, насколько репрезентативна выборка среди населения.

Помните, что мы не используем средства выборочных загрузок для оценки среднего значения популяции, для этого мы используем среднее значение выборки (или какую-либо статистику, представляющую интерес). Но мы используем образцы начальной загрузки для оценки свойств (разброса, смещения) процесса выборки. И использование выборки из известной группы населения (которая, как мы надеемся, является репрезентативной для группы интересов) для изучения эффектов выборки имеет смысл и является гораздо менее круговым.

Основная хитрость (и уловка) начальной загрузки состоит в том, что это асимптотическая теория: если у вас есть бесконечная выборка для начала, эмпирическое распределение будет настолько близко к фактическому распределению, что разница будет незначительной.

К сожалению, начальная загрузка часто применяется для небольших выборок. По общему мнению, самозагрузка показала себя в некоторых очень не асимптотических ситуациях, но, тем не менее, будьте осторожны. Если ваш выборочный размер слишком мал, вы фактически работаете с условием, чтобы ваш образец был «хорошим представлением» истинного распределения, что очень легко приводит к рассуждению в кругах :-)

Я бы поспорил не с точки зрения «асимптотически, эмпирическое распределение будет близко к фактическому распределению» (что, конечно, очень верно), но с «долгосрочной перспективы». Другими словами, в любом конкретном случае эмпирическое распределение, полученное при начальной загрузке, будет отключено (иногда смещено слишком далеко таким образом, иногда слишком смещено таким образом, иногда слишком искажено таким образом, иногда слишком искажено таким образом), но в среднем оно будет хорошим приближением к фактическому распределению. Точно так же ваши оценки неопределенности, полученные из распределения начальной загрузки, будут в любом конкретном случае неверными, но, опять же, в среднем они будут (приблизительно) правильными.