Какие примеры, когда «наивный бутстрап» терпит неудачу?

Предположим, у меня есть набор данных выборки из неизвестного или сложного распределения, и я хочу сделать некоторый вывод по статистике $T$ данных. Моя склонность по умолчанию является просто генерировать кучу образцов бутстраповских с заменой, и вычислить мою статистику $T$ на каждый образец начальной загрузки , чтобы создать оценочное распределение для $T$ .

Какие примеры, где это плохая идея?

Например, один из случаев, когда наивное выполнение этой начальной загрузки завершится неудачей, - это попытка использования начальной загрузки для данных временных рядов (скажем, для проверки наличия у меня значительной автокорреляции). Наивный начальный загрузчик, описанный выше (создание $i$ го datapoint из n-ой серии образцов начальной загрузки путем выборки с заменой из моей исходной серии), я думаю, будет опрометчивым, поскольку он игнорирует структуру в моем исходном временном ряду, и поэтому мы получить более совершенные методы начальной загрузки, такие как блок начальной загрузки.

Другими словами, что там с начальной загрузкой, кроме «выборки с заменой»?

Если интересующее вас количество, как правило, функционал дистрибутива, достаточно гладкое, а ваши данные находятся на виду, вы обычно находитесь на довольно безопасной территории. Конечно, есть и другие обстоятельства, когда загрузчик также будет работать.

Что значит для загрузчика «провалиться»

Вообще говоря, целью начальной загрузки является построение приблизительного распределения выборки для статистики, представляющей интерес. Речь идет не о реальной оценке параметра. Итак, если интересующая статистика (при некотором масштабировании и центрировании) в и , мы бы хотели, чтобы наше дистрибутивное распределение сходятся к распределению . Если у нас этого нет, то мы не можем доверять сделанным выводам.$\newcommand{\Xhat}{\hat{X}_n}\Xhat$$\Xhat \to X_\infty$$X_\infty$

Канонический пример , когда самозагрузки могут потерпеть неудачу, даже в н.о.р. каркаса при попытке приблизить распределение выборки экстремальной статистики порядка. Ниже приводится краткое обсуждение.

Статистика максимального порядка случайной выборки из распределения$\;\mathcal{U}[0,\theta]$

Пусть - последовательность iid равномерных случайных величин на . Пусть . Распределение - это (Обратите внимание, что с помощью очень простого аргумента это фактически также показывает, что по вероятности и даже почти наверняка , если все случайные величины определены в одном и том же пространстве.)$X_1, X_2, \ldots$$[0,\theta]$$\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$$\Xmax$

Элементарный расчет дает или, другими словами, сходится по распределению к экспоненциальной случайной величине со средним значением .

Теперь мы формируем (наивную) загрузочную оценку распределения путем повторной выборки с заменой, чтобы получить и используя распределение из зависимости от .$n(\theta - \Xmax)$$X_1, \ldots, X_n$$X_1^\star,\ldots,X_n^\star$$n(\Xmax - \Xmax^\star)$$X_1,\ldots,X_n$

Но внимание, что с вероятностью , и поэтому распределение начальной загрузки имеет точечную массу в нуле даже асимптотически несмотря на тот факт, что фактическое предельное распределение является непрерывным.$\Xmax^\star = \Xmax$$1 - (1-1/n)^n \to 1 - e^{-1}$

Более конкретно, хотя истинное предельное распределение является экспоненциальным со средним значением , предельное распределение начальной загрузки помещает точечную массу в ноль размера независимо от фактического значения . Взяв достаточно большим, мы можем сделать вероятность истинного предельного распределения произвольно малой для любого фиксированного интервала , однако загрузчик покажет ( все же !), Что в этом интервале есть хотя бы вероятность 0,632! Из этого должно быть ясно, что загрузчик может вести себя произвольно плохо в этой настройке.$\theta$$1−e^{-1} \approx 0.632$ $\theta$$\theta$$[0,\varepsilon)$

Таким образом, в этом случае начальная загрузка завершается неудачно (с треском). Вещи, как правило, идут не так, когда имеют дело с параметрами на границе пространства параметров.

Пример из выборки нормальных случайных величин

Есть и другие подобные примеры неудачи бутстрапа в удивительно простых обстоятельствах.

Рассмотрим пример из где пространство параметров для ограничено . MLE в этом случае - это . Опять же, мы используем оценку начальной загрузки . Опять же, можно показать, что распределение (в зависимости от наблюдаемого образца) не сходится к тому же предельному распределению, что и .$X_1, X_2, \ldots$$\mathcal{N}(\mu,1)$$\mu$$[0,\infty)$$\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$$\Xhat^\star = \max(\Xbar^\star, 0)$$\sqrt{n}(\Xhat^\star - \Xhat)$$\sqrt{n}(\Xhat - \mu)$

Сменные массивы

Возможно, один из самых драматических примеров для сменного массива. Пусть будет массивом случайных величин таким, что для каждой пары матриц перестановок и , массивы и имеют одинаковое совместное распределение. То есть перестановка строк и столбцов в сохраняет инвариант распределения. (Можно привести в качестве примера модель двусторонних случайных эффектов с одним наблюдением на ячейку, хотя модель гораздо более общая.)$\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$$\bm{P}$$\bm{Q}$$\bm{Y}$$\bm{P} \bm{Y} \bm{Q}$$\bm{Y}$

Предположим, мы хотим оценить доверительный интервал для среднего значения (из-за предположения о взаимозаменяемости, описанного выше, для всех клетки должны быть одинаковыми).$\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000) рассмотрел два различных естественных (то есть наивных) способа начальной загрузки такого массива. Ни один из них не получил правильную асимптотическую дисперсию для выборки. Он также рассматривает некоторые примеры односторонней сменной матрицы и линейной регрессии.

Рекомендации

К сожалению, тема нетривиальна, поэтому ни один из них не особенно легко читается.

П. Бикель и Д. Фридман, Некоторые асимптотические теории для бутстрапа . Анна. Стат. том 9, нет. 6 (1981), 1196–1217.

DWK Andrews, Несоответствие начальной загрузки, когда параметр находится на границе пространства параметров , Econometrica , vol. 68, нет. 2 (2000), 399–405.

P. McCullagh, Resampling and exchangeable Arrays , Bernoulli , vol. 6, нет 2 (2000), 285–301.

EL Lehmann и JP Romano, Проверка статистических гипотез , 3-й. под ред. Springer (2005). [Глава 15: Общие методы большой выборки]

В следующей книге есть глава (гл. 9), посвященная теме «При неудачной начальной загрузке наряду с мерами по устранению неисправностей»:

М.Р. Черник, Bootstrap методы: руководство для практиков и исследователей , 2-е изд. Хобокен Нью-Джерси: Wiley-Interscience, 2008.

Темы:

1. Слишком маленький размер образца
2. Распределения с бесконечными моментами
3. Оценка экстремальных значений
4. Обзорная выборка
5. Последовательности данных, которые зависят от M
6. Нестабильные авторегрессионные процессы
7. Долгосрочная зависимость

Наивный загрузчик зависит от размера выборки, так что эмпирический CDF для данных является хорошим приближением к «истинному» CDF. Это гарантирует, что выборка из эмпирического CDF очень похожа на выборку из «истинного» CDF. Крайний случай - когда вы отбираете только одну точку данных - здесь начальная загрузка ничего не дает. По мере приближения к этому вырожденному случаю он будет становиться все более и более бесполезным.

Наивно начальная загрузка не обязательно потерпит неудачу при анализе временных рядов (хотя это может быть неэффективно) - если вы моделируете ряд, используя базовые функции непрерывного времени (такие как многочлены легенды) для компонента тренда, а функции синуса и косинуса непрерывного времени для циклического компоненты (плюс нормальный срок ошибки шума). Затем вы просто вставляете то, что вы когда-либо делали, в функцию правдоподобия. Никакой катастрофы для начальной загрузки здесь.

Любая модель автокорреляции или ARIMA имеет представление в этом формате выше - эта модель просто проще в использовании, и я думаю, что она понятна и понятна (легко понять циклы в функциях синуса и косинуса, трудно понять коэффициенты модели ARIMA). Например, функция автокорреляции является обратным преобразованием Фурье спектра мощности временного ряда.