Центральная предельная теорема для квадратных корней сумм iid случайных величин

Заинтригованный вопросом на math.stackexchange и исследующий его эмпирически, я задаюсь вопросом о следующем утверждении о квадратном корне из сумм iid случайных величин.

Предположим, что - это случайные величины с конечным ненулевым средним и дисперсией и . Центральная предельная теорема гласит: при увеличении . $X_1, X_2, \ldots, X_n$ $\mu$ $\sigma^2$ $\displaystyle Y=\sum_{i=1}^n X_i$ $\displaystyle \dfrac{Y - n\mu}{\sqrt{n\sigma^2}} \ \xrightarrow{d}\ N(0,1)$ $n$

Если , могу ли я также сказать что-то вроде при увеличении ? $Z=\sqrt{|Y|}$ $\displaystyle \dfrac{Z - \sqrt{n |\mu|-\tfrac{\sigma^2}{4|\mu|}}}{\sqrt{\tfrac{\sigma^2}{4|\mu|}}}\ \xrightarrow{d}\ N(0,1)$ $n$

Например, предположим, что - это Бернулли со средним и дисперсией , тогда является биномиальным, и я могу смоделировать это в R, скажем, с : $X_i$ $p$ $p(1-p)$ $Y$ $p=\frac13$

set.seed(1)
cases <- 100000
n <- 1000
p <- 1/3
Y <- rbinom(cases, size=n, prob=p)
Z <- sqrt(abs(Y))

что дает примерно ожидаемое среднее значение и дисперсию для $Z$

> c(mean(Z), sqrt(n*p - (1-p)/4))
[1] 18.25229 18.25285
> c(var(Z), (1-p)/4)
[1] 0.1680012 0.1666667

и сюжет QQ, который выглядит близко к гауссову

qqnorm(Z)

normal-distribution central-limit-theorem sum Генри
источник

@MichaelM: Спасибо за эти комментарии. Я начал с неотрицательного , но я думал, что интуитивное асимптотическое поведение, которое вы описываете, позволило обобщить большее количество распределений. Моими сюрпризами были: (а) дисперсия квадратного корня из суммы, по-видимому, стремящейся к константе, не зависящей от и (б) появление распределения, которое выглядит очень близко к гауссову. Контрпример был бы желателен, но когда я попробовал другие случаи, которые первоначально казались негауссовыми, дальнейшее увеличение казалось, вернуло распределение к результату типа CLT.

X_{i}

$X_i$

n

$n$

n

$n$

Генри

Следствием этого является среднеквадратичное (или квадратичное среднее) случайных величин iid, соответствующим образом масштабированное (умноженное на как и среднее арифметическое), также сходится к гауссову распределению при условии, что й момент Основное распределение конечно.

\sqrt{n}

$\sqrt{n}$

4

$4$

Генри

Краткий комментарий: утверждение является частным случаем метода Дельта, см. Теорему 5.5.24 в книге «Статистический вывод», выполненной Casella & Berger.

Майкл М

@Michael: Возможно, вы видите что-то, чем я не являюсь в данный момент, но я не думаю, что эта конкретная проблема вписывается в предположения классического метода Дельты (например, как указано в теореме, на которую вы ссылаетесь). Обратите внимание, что не сходится в распределении (нетривиально в ), и поэтому «применение метода Дельты с » не удовлетворяет необходимым требованиям. Однако, как показывает ответ С. Каттералла, он дает полезную эвристику, которая приводит к правильному ответу.

Y

$Y$

R

$\mathbb R$

g (y) = \sqrt{| y |}

$g(y) = \sqrt{|y|}$

кардинал

(Я полагаю, что вы могли бы адаптировать доказательство метода Дельты к случаям, аналогичным приведенным выше, чтобы сделать строгую вышеупомянутую эвристику полностью строгой).

Кардинал

Ответы:

Сходимость к гауссову действительно является общим явлением.

Предположим, что являются случайными переменными IID со средним значением и дисперсией , и определим суммы . Исправить число . Обычная центральная предельная теорема говорит нам, что как , где это стандартный нормальный cdf. Однако непрерывность ограничительного cdf подразумевает, что у нас также есть $X_1,X_2,X_3,...$ $\mu\gt 0$ $\sigma^2$ $Y_n=\sum_{i=1}^n X_i$ $\alpha$ $P(\frac{Y_n-n\mu}{\sigma\sqrt n}\leq \alpha)\to\Phi(\alpha)$ $n\to\infty$ $\Phi$

P (\frac{Y_{n} - n μ}{σ \sqrt{n}} \leq α + \frac{α^{2} σ^{2}}{4 μ σ \sqrt{n}}) \to Φ (α)

$P\Big(\frac{Y_n-n\mu}{\sigma\sqrt n}\leq \alpha+\frac{\alpha^2 \sigma^2}{4\mu\sigma\sqrt n}\Big)\to\Phi(\alpha)$ потому что дополнительный член в правой части неравенства стремится к нулю. Перестановка этого выражения приводит к

P (Y_{n} \leq (\frac{α σ}{2 \sqrt{μ}} + \sqrt{n μ})^{2}) \to Φ (α)

$P\Big(Y_n\leq (\frac{\alpha\sigma}{2\sqrt \mu}+\sqrt{n\mu})^2\Big)\to\Phi(\alpha)$

Взяв квадратные корни и отметив, что означает, что , мы получим Другими словами, . Этот результат демонстрирует сходимость к гауссову в пределе при . $\mu\gt 0$ $P(Y_n\lt 0)\to 0$

P (\sqrt{| Y_{n} |} \leq \frac{α σ}{2 \sqrt{μ}} + \sqrt{n μ}) \to Φ (α)

$P\Big(\sqrt{|Y_n|}\leq \frac{\alpha\sigma}{2\sqrt \mu}+\sqrt{n\mu}\Big)\to\Phi(\alpha)$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ}}{σ / 2 \sqrt{μ}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu}}{\sigma/{2\sqrt\mu}}\xrightarrow{d}N(0,1)$

n \to \infty

$n\to\infty$

Означает ли это, что является хорошим приближением к для больших ? Ну, мы можем сделать лучше, чем это. Как отмечает @Henry, предполагая, что все положительно, мы можем использовать вместе с и приближение , чтобы получить улучшенное приближение как указано в вопросе выше. Также обратите внимание, что у нас все еще есть потому что $\sqrt{n\mu}$ $E[\sqrt{|Y_n|}]$ $n$ $E[\sqrt{Y_n}]=\sqrt{E[Y_n]-\text{Var}(\sqrt{Y_n})}$ $E[Y_n]=n\mu$ $\text{Var}(\sqrt{Y_n})\approx \frac{\sigma^2}{4\mu}$ $E[\sqrt{|Y_n|}]\approx\sqrt{n\mu- \dfrac{\sigma^2}{4\mu}}$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ - \frac{σ^{2}}{4 μ}}}{σ / 2 \sqrt{μ}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu-\frac{\sigma^2}{4\mu}}}{\sigma/{2\sqrt\mu}}\xrightarrow{d}N(0,1)$

\sqrt{n μ - \frac{σ^{2}}{4 μ}} - \sqrt{n μ} \to 0

$\sqrt{n\mu-\frac{\sigma^2}{4\mu}}-\sqrt{n\mu}\to 0$ при .

n \to \infty

$n\to\infty$

С. Каттералл Восстановить Монику
источник

Возможно, вам придется добавить как чтобы получить мой результат

\sqrt{n μ} - \sqrt{n μ - \frac{σ^{2}}{4 μ}} \to 0

$\sqrt{n \mu}-\sqrt{n \mu-\tfrac{\sigma^2}{4\mu}} \to 0$

n \to \infty

${n \to \infty}$

Генри

@Henry Вы можете заменить на для любой константы и это не изменит предельного распределения, но может изменить степень, в которой является хорошим приближением к для конкретного большого . Как вы пришли к ?

\sqrt{n μ}

$\sqrt{n\mu}$

\sqrt{n μ - k}

$\sqrt{n\mu-k}$

k

$k$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ - k}}{σ / 2 \sqrt{μ}}

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu-k}}{\sigma/{2\sqrt\mu}}$

N (0, 1)

$N(0,1)$

n

$n$

\sqrt{n μ - \frac{σ^{2}}{4 μ}}

$\sqrt{n \mu-\tfrac{\sigma^2}{4\mu}}$

С. Каттералл восстановил Монику

У нас есть поэтому . Предполагая, что все положительно, а знаменатель предлагает , и объединение этих приводит к .

Var (Z) = E [Z^{2}] - (E [Z])^{2}

$\text{Var}(Z)=E[Z^2]-(E[Z])^2$

E [Z] = \sqrt{E [Z^{2}] - Var (Z)}

$E[Z]=\sqrt{E[Z^2]-\text{Var}(Z)}$

E [Z^{2}] = E [Y] = n μ

$E[Z^2]=E[Y]=n\mu$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ}}{σ / 2 \sqrt{μ}}

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu}}{\sigma/{2\sqrt\mu}}$

Var (Z) \approx \frac{σ^{2}}{4 μ}

$\text{Var}(Z) \approx \dfrac{\sigma^2}{4\mu}$

E [Z] \approx \sqrt{n μ - \frac{σ^{2}}{4 μ}}

$E[Z] \approx \sqrt{n\mu- \dfrac{\sigma^2}{4\mu}}$

Генри

Хорошо, спасибо, я попытался осветить это в своем ответе сейчас.

С. Каттералл восстановил Монику