Центральная предельная теорема для выборочных медиан

Если я вычислю медиану достаточно большого числа наблюдений, взятых из одного и того же распределения, будет ли в центральной предельной теореме аппроксимация распределения медиан приближаться к нормальному? Насколько я понимаю, это верно для большого количества образцов, но верно ли это для медиан?

Если нет, каково основное распределение выборочных медиан?

Если вы работаете в терминах индикаторных переменных (то есть $Z_i = 1$ если $X_i \leq x$ и $0$ противном случае), вы можете напрямую применить центральную предельную теорему к среднему значению $Z$ , а с помощью метода Дельта превратить это в асимптотическое нормальное распределение для $F_X^{-1}(\bar{Z})$ , который , в свою очередь , означает , что вы получите асимптотическую нормальность для стационарных квантилей $X$ .

Так что не только медиана, но квартили, 90-й процентиль и т. Д.

Неплотно, если мы говорим о $q$ й пробы квантиля в достаточно больших выборках, получаю , что это будет приблизительно иметь нормальное распределение со средним по $q$ е населения квантиль $x_q$ и дисперсия $q(1-q)/(nf_X(x_q)^2)$ .

Следовательно , для медианы ( $q = 1/2$ ), дисперсия в достаточно больших образцах будет приблизительно $1/(4nf_X(\tilde{\mu})^2)$ .

Конечно, вам нужно выполнить все условия на этом пути, чтобы они работали не во всех ситуациях, а для непрерывных распределений, где плотность в квантиле населения положительна и дифференцируема и т. Д., ...

Кроме того, это не относится к экстремальным квантилям, потому что CLT не срабатывает (среднее значение Z не будет асимптотически нормальным). Вам нужна другая теория для экстремальных ценностей.

---

Редактировать: критика вубера верна; это сработало бы, если бы $x$ был медианой населения, а не медианой выборки. Аргумент должен быть изменен, чтобы фактически работать должным образом.

Основная идея заключается в том, что выборочное распределение медианы легко выразить в терминах функции распределения, но сложнее выразить в терминах медианного значения. Как только мы поймем, как функция распределения может повторно выражать значения как вероятности и обратно, легко получить точное выборочное распределение медианы. Небольшой анализ поведения функции распределения вблизи ее медианы необходим, чтобы показать, что это асимптотически нормально.

(Тот же самый анализ работает для выборочного распределения любого квантиля, а не только медианы.)

Я не буду пытаться быть строгим в этом изложении, но я делаю это шаг за шагом, которые легко обоснованы строгим образом, если у вас есть желание сделать это.

---

Интуиция

Это снимки коробки, содержащей 70 атомов горячего атомарного газа:

На каждом изображении я обнаружил местоположение, показанное красной вертикальной линией, которое разделяет атомы на две равные группы между левой (нарисованные как черные точки) и правой (белые точки). Это медиана позиций: 35 атомов лежат слева и 35 справа. Медианы меняются, потому что атомы движутся случайным образом вокруг коробки.

Мы заинтересованы в распределении этой средней позиции. На такой вопрос отвечает обратная процедура: сначала нарисуем где-нибудь вертикальную линию, скажем, в точке . Какова вероятность того, что половина атомов окажется слева от x, а половина справа? Атомы слева по отдельности имели шансы х оказаться слева. Атомы справа по отдельности имели шансы 1 - x оказаться справа. Предполагая, что их позиции статистически независимы, шансы умножаются, давая х 35 ( 1 - х ) $x$$x$$x$$1-x$$x^{35}(1-x)^{35}$для шанса этой конкретной конфигурации. Эквивалентная конфигурация может быть достигнута для другого разделения атомов на две 35- элементные части. Добавление этих чисел для всех возможных таких разбиений дает шанс$70$$35$

$${\Pr}(x\text{ is a median}) = C x^{n/2} (1-x)^{n/2}$$

где - общее количество атомов, а пропорционально количеству расщеплений атомов на две равные подгруппы.C $n$$C$$n$

Эта формула определяет распределение медианы как бета распределение$(n/2+1, n/2+1)$ .

Теперь рассмотрим коробку с более сложной формой:

Еще раз медианы меняются. Поскольку ящик расположен низко возле центра, его объем там невелик: небольшое изменение объема, занимаемого левой половиной атомов (опять же черными) - или, мы могли бы также признать, область слева , как показано на этих фигурах - соответствует сравнительно большому изменению в горизонтальном положении медианы. Фактически, поскольку область, представленная небольшим горизонтальным сечением коробки, пропорциональна высоте , изменения медианы делятся на высоту коробки. Это заставляет медиану быть более изменчивой для этого бокса, чем для квадратного прямоугольника, потому что этот намного ниже в середине.

Короче говоря, когда мы измеряем положение медианы с точки зрения площади (слева и справа), исходный анализ (для квадратной рамки) остается неизменным. Форма прямоугольника усложняет распределение, только если мы настаиваем на измерении медианы с точки зрения его горизонтального положения. Когда мы делаем это, отношения между областью и позиционным представлением обратно пропорциональны высоте блока.

Из этих картинок можно многому научиться. Ясно, что когда в (одном) ящике находится мало атомов, существует большая вероятность того, что половина из них может случайно оказаться кластеризованной далеко в любую сторону. По мере роста числа атомов потенциал такого экстремального дисбаланса уменьшается. Чтобы отследить это, я взял «фильмы» - длинную серию из 5000 кадров - для изогнутой коробки, заполненной , затем , затем и, наконец, атомами, и отметил медианы. Вот гистограммы средних позиций:15 75 $3$$15$$75$$375$

Ясно, что для достаточно большого числа атомов распределение их срединного положения начинает выглядеть колоколообразным и сужается: это похоже на результат центральной предельной теоремы, не так ли?

---

Количественные результаты

«Коробка», конечно, изображает плотность вероятности некоторого распределения: ее верх - график функции плотности (PDF). Таким образом, области представляют вероятности. Размещение точек случайным образом и независимо внутри блока и наблюдение за их горизонтальным положением - это один из способов получить выборку из распределения. (Это идея выборки отклонения. )$n$

Следующая фигура соединяет эти идеи.

Это выглядит сложно, но это действительно довольно просто. Здесь четыре сюжета:

1. Верхний график показывает PDF распределения вместе с одной случайной выборкой размером . Значения, превышающие медиану, показаны в виде белых точек; значения меньше, чем медиана в виде черных точек. Ему не нужен вертикальный масштаб, потому что мы знаем, что общая площадь равна единице.$n$

2. Средний график - это кумулятивная функция распределения для того же распределения: она использует высоту для обозначения вероятности. Он разделяет свою горизонтальную ось с первым сюжетом. Его вертикальная ось должна идти от до потому что она представляет вероятности.$0$$1$

3. Левый график предназначен для чтения вбок: это PDF дистрибутива Beta . Он показывает, как медиана в квадрате будет меняться, когда медиана измеряется в терминах областей слева и справа от середины (а не измеряется по горизонтальному положению). Я нарисовал случайных точек из этого PDF, как показано, и соединил их горизонтальными пунктирными линиями с соответствующими местоположениями на оригинальном CDF: это то, как объемы (измеренные слева) преобразуются в позиции (измеренные сверху, по центру). и нижняя графика). Одна из этих точек фактически соответствует медиане, показанной на верхнем графике; Я нарисовал сплошную вертикальную линию, чтобы показать это.$(n/2+1, n/2+1)$$16$

4. Нижний график представляет собой плотность выборки медианы, измеренную по ее горизонтальному положению. Получается путем преобразования области (на левом графике) в позицию. Формула преобразования дается обратным к исходному CDF: это просто определение обратного CDF! (Другими словами, CDF преобразует положение в область слева; обратный CDF преобразует обратно из области в положение.) Я построил вертикальные пунктирные линии, показывающие, как случайные точки на левом графике преобразуются в случайные точки на нижнем графике. , Этот процесс чтения поперек и затем вниз говорит нам, как перейти от области к позиции.

Пусть - CDF исходного распределения (средний график), а - CDF бета-распределения. Чтобы найти вероятность того, что медиана лежит слева от некоторой позиции , сначала используйте чтобы получить область слева от в поле: это сам . Распределение бета слева говорит нам о вероятности того, что половина атомов будет лежать в этом объеме, давая : это CDF медианного положения . Чтобы найти его PDF (как показано на нижнем графике), возьмите производную:$F$$G$$x$$F$$x$$F(x)$$G(F(x))$

$$\frac{d}{dx}G(F(x)) = G'(F(x))F'(x) = g(F(x))f(x)$$

где - PDF (верхний график), а - бета-PDF (левый график).$f$$g$

Это точная формула для распределения медианы для любого непрерывного распределения. (С некоторой осторожностью при интерпретации он может применяться к любому распределению, независимо от того, является ли оно непрерывным или нет.)

---

Асимптотические результаты

Когда очень велико и не имеет скачка в своем среднем, образец медиана должна изменяться близко вокруг истинного срединных распределения. Кроме того, предполагая, что PDF является непрерывным вблизи , в предыдущей формуле не сильно изменится от его значения в заданного Более того, также не сильно изменится от его значения: до первого порядка,$n$$F$$\mu$$f$$\mu$ $f(x)$$\mu,$$f(\mu).$$F$

$$F(x) = F\left(\mu + (x-\mu)\right) \approx F(\mu) + F^\prime(\mu)(x-\mu) = 1/2 + f(\mu)(x-\mu).$$

Таким образом, с постоянно улучшающимся приближением, когда становится большим,$n$

$$g(F(x))f(x) \approx g\left(1/2 + f(\mu)(x-\mu)\right) f(\mu).$$

Это всего лишь изменение местоположения и масштаба распределения бета-версий. Масштабирование с помощью разделит его дисперсию на (что лучше было бы отличным от нуля!). Кстати, дисперсия бета очень близка к .$f(\mu)$$f(\mu)^2$$(n/2+1, n/2+1)$$n/4$

Этот анализ можно рассматривать как применение метода Дельта .

Наконец, бета является приблизительно нормальной для больших . Есть много способов увидеть это; возможно, самое простое - взглянуть на логарифм его PDF около :$(n/2+1, n/2+1)$$n$$1/2$

$$\log\left(C(1/2 + x)^{n/2}(1/2-x)^{n/2}\right) = \frac{n}{2}\log\left(1-4x^2\right) + C' = C'-2nx^2 +O(x^4).$$

(Константы и просто нормализуют общую площадь до единицы.) Таким образом, через третий порядок по , это то же самое, что и журнал нормального PDF с дисперсией (Этот аргумент сделан строгим с помощью использования характерных или кумулянт-генерирующих функций вместо журнала PDF.)$C$$C'$$x,$$1/(4n).$

В целом, мы заключаем, что

• Распределение медианы выборки имеет дисперсию примерно ,$1/(4 n f(\mu)^2)$

• и это примерно нормально для больших ,$n$

• все при условии, что PDF непрерывен и отличен от нуля при медиане$f$$\mu.$

@EngrStudent освещающий ответ говорит нам, что мы должны ожидать различных результатов, когда распределение непрерывно , и когда оно дискретно («красные» графики, где асимптотическое распределение медианы выборки не выглядит эффектно, чтобы выглядеть нормальным, соответствуют распределениям Binomial (3), геометрический (11), гипергеометрический (12), отрицательный бином (14), пуассон (18), дискретная униформа (22).

И это действительно так. Когда распределение дискретно, все усложняется. Я предоставлю доказательство для Абсолютно Непрерывного Случая, по сути, сделав не более, чем детализируя ответ, уже предоставленный @Glen_b, а затем немного расскажу о том, что происходит, когда распределение является дискретным, предоставляя также недавнюю ссылку для всех, кто интересуется дайвингом. в.

АБСОЛЮТНО НЕПРЕРЫВНОЕ РАСПРЕДЕЛЕНИЕ
Рассмотрим набор iid абсолютно непрерывных случайных величин с функцией распределения (cdf) и функцией плотности . Определите где - это функция индикатора. Следовательно, является бернуллиевым т. $\{X_1,...X_n\}$$F_X(x) = P(X_i\le x)$$F'_X(x)=f_X(x)$$Z_i\equiv I\{X_i\le x\}$$I\{\}$$Z_i$

$$E(Z_i) = E\left(I\{X_i\le x\}\right) = P(X_i\le x)=F_X(x),\;\; \text{Var}(Z_i) = F_X(x)[1-F_X(x)],\;\; \forall i$$

Пусть будет средним для этих iid Бернулли, определенным для фиксированного как что означает, что Применяется центральная предельная теорема, и мы имеем$Y_n(x)$$x$

$$Y_n(x) = \frac 1n\sum_{i=1}^nZ_i$$ $$E[Y_n(x)] = F_X(x),\;\; \text{Var}(Y_n(x)) = (1/n)F_X(x)[1-F_X(x)]$$

$$\sqrt n\Big(Y_n(x) - F_X(x)\Big) \rightarrow_d \mathbb N\left(0,F_X(x)[1-F_X(x)]\right)$$

Обратите внимание, что т. Е. Не эмпирическая функция распределения. Применяя «Дельта-метод», мы получаем, что для непрерывной и дифференцируемой функции с ненулевой производной в интересующем нас месте получаем$Y_n(x) = \hat F_n(x)$$g(t)$$g'(t)$

$$\sqrt n\Big(g[\hat F_n(x)] - g[F_X(x)]\Big) \rightarrow_d \mathbb N\left(0,F_X(x)[1-F_X(x)]\cdot\left(g'[F_X(x)]\right)^2\right)$$

Теперь выберите где обозначает обратную функцию. Это непрерывная и дифференцируемая функция (поскольку ), и по теореме об обратной функции мы имеем$g(t) \equiv F^{-1}_X(t),\;\; t\in (0,1)$$^{-1}$$F_X(x)$

$$g'(t)=\frac {d}{dt}F^{-1}_X(t) = \frac 1{f_x\left(F^{-1}_X(t)\right)}$$

Вставив эти результаты на в полученном асимптотическом результате дельта-метода, мы имеем$g$

$$\sqrt n\Big(F^{-1}_X(\hat F_n(x)) - F^{-1}_X(F_X(x))\Big) \rightarrow_d \mathbb N\left(0,\frac {F_X(x)[1-F_X(x)]}{\left[f_x\left(F^{-1}_X(F_X(x))\right)\right]^2} \right)$$

и упрощение,

$$\sqrt n\Big(F^{-1}_X(\hat F_n(x)) - x\Big) \rightarrow_d \mathbb N\left(0,\frac {F_X(x)[1-F_X(x)]}{\left[f_x(x)\right]^2} \right)$$

.. для любого фиксированного . Теперь установите , (истинную) медиану населения. Тогда мы имеем и приведенный выше общий результат становится для нашего интересного случая$x$$x=m$$F_X(m) = 1/2$

$$\sqrt n\Big(F^{-1}_X(\hat F_n(m)) - m\Big) \rightarrow_d \mathbb N\left(0,\frac {1}{\left[2f_x(m)\right]^2} \right)$$

Но сходится к медиане выборки . Это потому что$F^{-1}_X(\hat F_n(m))$$\hat m$

$$F^{-1}_X(\hat F_n(m)) = \inf\{x : F_X(x) \geq \hat F_n(m)\} = \inf\{x : F_X(x) \geq \frac 1n \sum_{i=1}^n I\{X_i\leq m\}\}$$

Правая часть неравенства сходится к а наименьший для которого в конечном итоге , является медианой выборки.$1/2$$x$$F_X \geq 1/2$

Итак, мы получаем

$$\sqrt n\Big(\hat m - m\Big) \rightarrow_d \mathbb N\left(0,\frac {1}{\left[2f_x(m)\right]^2} \right)$$ который является центральным Предельная теорема для выборочной медианы для абсолютно непрерывных распределений.

Дискретные распределения
Когда распределение является дискретным (или когда образец содержит связи) было высказано мнение , что «классическое» определение выборочных квантилей, и , следовательно , медиан также, может ввести в заблуждении , в первую очередь , в качестве теоретической концепции , чтобы быть используется для измерения того, что каждый пытается измерить квантилями.
В любом случае было смоделировано, что согласно этому классическому определению (известному нам всем) асимптотическое распределение медианы выборки является ненормальным и дискретным распределением.

Альтернативное определение выборочных квантилей заключается в использовании концепции функции среднего распределения, которая определяется как

$$F_{mid}(x) = P(X\le x) - \frac 12P(X=x)$$

Определение квантилей выборки через концепцию функции среднего распределения можно рассматривать как обобщение, которое может охватывать как частные случаи непрерывные распределения, так и не столь непрерывные.

Для случая дискретных распределений, среди других результатов, было обнаружено, что медиана выборки, как определено в этой концепции, имеет асимптотически нормальное распределение с ... сложной выглядящей дисперсией.

Большинство из них - недавние результаты. Ссылка - Ma, Y., Genton, MG, & Parzen, E. (2011). Асимптотические свойства выборочных квантилей дискретных распределений. Летопись Института статистической математики, 63 (2), 227-243. , где можно найти обсуждение и ссылки на более старую соответствующую литературу.

Да, и не только для медианы, но и для любого квантиля выборки. Копируя эту статью , написанную Т.С. Фергюсоном, профессором в Калифорнийском университете в Лос-Анджелесе (его страница здесь ), которая интересно занимается совместным распределением выборочного среднего и выборочных квантилей, мы имеем:

Пусть должно быть с функцией распределения , плотностью , средним значением и конечной дисперсией . Пусть и пусть обозначает квантиль , так что . Предположим, что плотность непрерывна и положительна в . Пусть обозначает выборочный квантиль. затем F ( x ) f ( x ) μ σ 2 0 < p < 1 x p$X_1, . . . ,X_n$$F(x)$$f(x)$$\mu$$\sigma^2$$0 < p < 1$$x_p$$p$$F$$F(x_p) = p$$f(x)$$x_p$$Y_n = X_{(n:\lceil np\rceil)}$$p$

$$\sqrt n(Y_n − x_p) \xrightarrow{d} N(0, p(1 − p)/(f(x_p))^2)$$

Для (медиана), и у вас есть CLT для медиан,$p=1/2 \Rightarrow x_p=m$

$$\sqrt n(Y_n − m) \xrightarrow{d} N\left(0, [2f(m)]^{-2}\right)$$

Мне нравится аналитический ответ, данный Glen_b. Это хороший ответ.

Нужна картинка. Мне нравятся картинки.

Вот области эластичности в ответе на вопрос:

• В мире много раздач. Пробег может меняться.
• Достаточный имеет разные значения. В качестве контрпримера к теории иногда требуется один контрпример для «достаточного» соответствия. Для демонстрации низкой частоты дефектов с использованием биномиальной неопределенности могут потребоваться сотни или тысячи образцов.

Для стандартного нормального я использовал следующий код MatLab:

mysamples=1000;

loops=10000;

y1=median(normrnd(0,1,mysamples,loops));

cdfplot(y1)

и я получил следующий график в качестве вывода:

Так почему бы не сделать это для других 22 или около того «встроенных» дистрибутивов, за исключением использования вероятных участков (где прямая линия означает очень нормальный)?

И вот исходный код для этого:

mysamples=1000;

loops=600;

y=zeros(loops,23);

y(:,1)=median(random('Normal', 0,1,mysamples,loops));

y(:,2)=median(random('beta', 5,0.2,mysamples,loops));
y(:,3)=median(random('bino', 10,0.5,mysamples,loops));
y(:,4)=median(random('chi2', 10,mysamples,loops));
y(:,5)=median(random('exp', 700,mysamples,loops));

y(:,6)=median(random('ev', 700,mysamples,loops));
y(:,7)=median(random('f', 5,3,mysamples,loops));
y(:,8)=median(random('gam', 10,5,mysamples,loops));
y(:,9)=median(random('gev', 0.24, 1.17, 5.8,mysamples,loops));
y(:,10)=median(random('gp', 0.12, 0.81,mysamples,loops));

y(:,11)=median(random('geo', 0.03,mysamples,loops));
y(:,12)=median(random('hyge', 1000,50,20,mysamples,loops));
y(:,13)=median(random('logn', log(20000),1.0,mysamples,loops));
y(:,14)=median(random('nbin', 2,0.11,mysamples,loops));
y(:,15)=median(random('ncf', 5,20,10,mysamples,loops));

y(:,16)=median(random('nct', 10,1,mysamples,loops));
y(:,17)=median(random('ncx2', 4,2,mysamples,loops));
y(:,18)=median(random('poiss', 5,mysamples,loops));
y(:,19)=median(random('rayl', 0.5,mysamples,loops));
y(:,20)=median(random('t', 5,mysamples,loops));

y(:,21)=median(random('unif',0,1,mysamples,loops));
y(:,22)=median(random('unid', 5,mysamples,loops));
y(:,23)=median(random('wbl', 0.5,2,mysamples,loops));


figure(1); clf
hold on

for i=2:23
    subplot(4,6,i-1)

    probplot(y(:,i))
    title(['Probplot of ' num2str(i)])
    axis tight

    if not(isempty(find(i==[3,11,12,14,18,22])))
        set(gca,'Color','r')
    end

end

Когда я вижу аналитическое доказательство, я могу подумать, что «теоретически все они могут подойти», но когда я попробую это, я смогу умерить, что с «есть ряд способов, которые не очень хорошо работают, часто включая дискретные или сильно ограниченные». ценности », и это может заставить меня захотеть быть более осторожным в применении теории ко всему, что стоит денег.

Удачи.