Почему в тесте хи-квадрат в качестве дисперсии используется ожидаемое число?

В тестировании , какова основа для использования квадратного корня из ожидаемых значений как стандартных отклонений (то есть ожидаемых значений как дисперсий) каждого из нормальных распределений? Единственное, что я мог найти, обсуждая это вообще, это http://www.physics.csbsju.edu/stats/chi-square.html , и в нем просто упоминаются распределения Пуассона.$\chi^2$

В качестве простой иллюстрации моей путаницы: что если бы мы тестировали, существенно ли отличаются два процесса: один генерирует 500 As и 500 Bs с очень малой дисперсией, а другой генерирует 550 As и 450 Bs с очень маленькой дисперсией (редко генерируя 551 как и 449 Bs)? Разве разница здесь не является просто ожидаемой величиной?

(Я не статистика, поэтому действительно ищу ответ, доступный для неспециалиста.)

Общая форма для многих тестовых статистик

$\frac{observed - expected}{standard error}$

В случае нормальной переменной стандартная ошибка основывается либо на известной дисперсии населения (z-stats), либо на оценке из выборки (t-stats). При использовании биномиальной переменной стандартная ошибка основана на пропорции (гипотетическая пропорция для тестов).

В таблице сопряженности можно считать, что число в каждой ячейке исходит из распределения Пуассона со средним значением, равным ожидаемому значению (ниже нуля). Дисперсия для распределения Пуассона равна среднему значению, поэтому мы используем ожидаемое значение и для расчета стандартной ошибки. Я видел статистику , которая использует наблюдаемое вместо этого, но он имеет менее теоретическое обоснование и не сходится, а к $\chi^2$ распределения.

Давайте рассмотрим простейший случай, чтобы попытаться обеспечить наибольшую интуицию. Пусть - выборка iid из дискретного распределения с k исходами. Пусть π 1 , … , π k - вероятности каждого конкретного результата. Нас интересует (асимптотическое) распределение хи-квадрат статистики X 2 = k ∑ i = 1 ( S i - n π i ) $X_1, X_2, \ldots, X_n$$k$$\pi_1,\ldots,\pi_k$ Здесь n π i - ожидаемое количество отсчетов i- го результата.

$$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$$ $n \pi_i$$i$

Наводящий эвристический

Определить , так чтоX2=∑iU 2 i =‖U‖ 2 2, гдеU=(U1,…,Uk).$U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$$X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$$\U = (U_1,\ldots,U_k)$

Так как это Б я л ( п , π я ) , то в силу центральной предельной теоремы , Т я = U $S_i$$\mathrm{Bin}(n,\pi_i)$ Следовательно, мы также имеемчто, U я d → N ( 0 , 1 - π я ) .

$$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$$ $U_i \convd \N(0, 1-\pi_i)$

Теперь, если был (асимптотический) независимо (что они не являются), то мы можем утверждать , что Σ я T 2 я был асимптотический χ 2 к распределен. Но обратите внимание, что T k является детерминированной функцией ( T 1 , … , T k - 1 ), и поэтому переменные T i не могут быть независимыми.$T_i$$\sum_i T_i^2$$\chi_k^2$$T_k$$(T_1,\ldots,T_{k-1})$$T_i$

Следовательно, мы должны как-то учитывать ковариацию между ними. Оказывается, что «правильный» способ сделать это - использовать вместо этого , и ковариация между компонентами U также изменяет асимптотическое распределение с того, что мы могли бы считать χ 2 k, до того, что фактически является а х 2 к - 1 .$U_i$$\U$$\chi_{k}^2$$\chi_{k-1}^2$

Некоторые подробности об этом следуют.

Более строгое лечение

Нетрудно проверить, что на самом деле $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ for $i \neq j$.

So, the covariance of $\U$ is

$$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$$ where $\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$. Note that $\A$ is symmetric and idempotent, i.e., $\A = \A^2 = \A^T$. So, in particular, if $\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$ has iid standard normal components, then $\A \Z \sim \N(0, \A)$. (NB The multivariate normal distribution in this case is degenerate.)

Now, by the Multivariate Central Limit Theorem, the vector $\U$ has an asymptotic multivariate normal distribution with mean $0$ and covariance $\A$.

So, $\U$ has the same asymptotic distribution as $\A \Z$, hence, the same asymptotic distribution of $X^2 = \U^T \U$ is the same as the distribution of $\Z^T \A^T \A \Z = \Z^T \A \Z$ by the continuous mapping theorem.

But, $\A$ is symmetric and idempotent, so (a) it has orthogonal eigenvectors, (b) all of its eigenvalues are 0 or 1, and (c) the multiplicity of the eigenvalue of 1 is $\mathrm{rank}(\A)$. This means that $\A$ can be decomposed as $\A = \mathbf{Q D Q}^T$ where $\mathbf{Q}$ is orthogonal and $\mathbf{D}$ is a diagonal matrix with $\mathrm{rank}(\A)$ ones on the diagonal and the remaining diagonal entries being zero.

Thus, $\Z^T \A \Z$ must be $\chi^2_{k-1}$ distributed since $\A$ has rank $k-1$ in our case.

Other connections

The chi-square statistic is also closely related to likelihood ratio statistics. Indeed, it is a Rao score statistic and can be viewed as a Taylor-series approximation of the likelihood ratio statistic.

References

This is my own development based on experience, but obviously influenced by classical texts. Good places to look to learn more are

1. G. A. F. Seber and A. J. Lee (2003), Linear Regression Analysis, 2nd ed., Wiley.
2. E. Lehmann and J. Romano (2005), Testing Statistical Hypotheses, 3rd ed., Springer. Section 14.3 in particular.
3. D. R. Cox and D. V. Hinkley (1979), Theoretical Statistics, Chapman and Hall.