Почему RSS распространяется через квадраты времени np?

Я хотел бы понять, почему в рамках модели OLS RSS (остаточная сумма квадратов) распределяется ( - это число параметров в модели, - количество наблюдений).

$$\chi^2\cdot (n-p)$$ $p$$n$

Я прошу прощения за то, что задал такой простой вопрос, но мне кажется, что я не могу найти ответ онлайн (или в моих, более ориентированных на приложения, учебниках).

Я рассматриваю следующую линейную модель: .${y} = X \beta + \epsilon$

Вектор невязок оценивается как

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$$

где .$Q = I - X (X'X)^{-1} X'$

Заметим, что $\textrm{tr}(Q) = n - p$ (след инвариантен относительно циклической перестановки) и что $Q'=Q=Q^2$ . Следовательно, собственные значения $Q$ равны $0$ и $1$ (некоторые детали приведены ниже). Следовательно, существует унитарная матрица $V$ такая, что ( матрицы диагонализируются унитарными матрицами тогда и только тогда, когда они нормальны ).

$$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$$

Теперь пусть .$K = V' \hat{\epsilon}$

Поскольку , мы имеем и, следовательно, . таким образомK~N$\hat{\epsilon} \sim N(0, \sigma^2 Q)$К п - р + 1 = ... = К п = $K \sim N(0, \sigma^2 \Delta)$$K_{n-p+1}=\ldots=K_n=0$

$$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$$

с .$K^{\star} = (K_1, \ldots, K_{n-p})'$

Кроме того, поскольку является унитарной матрицей, мы также имеем$V$

$$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$$

таким образом

$$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$$

Наконец, обратите внимание, что этот результат подразумевает, что

$$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$$

---

Поскольку , минимальный многочлен от делит многочлен . Итак, собственные значения находятся среди и . Поскольку также является суммой собственных значений, умноженных на их кратность, мы обязательно имеем, что является собственным значением с кратностью а ноль является собственным значением с кратностью .Q z 2 - z Q 0 1 tr ( Q ) = n - p 1 n - p $Q^2 - Q =0$$Q$$z^2 - z$$Q$$0$$1$$\textrm{tr}(Q) = n-p$$1$$n-p$$p$

ИМХО, матричная запись усложняет. Чисто векторное пространство языка чище. Модель можно записать в виде где имеет стандартное нормальное распределение на и предполагается, что принадлежит векторному подпространству .Y = μ + σ G G R n μ W ⊂ R$Y=X\beta+\epsilon$$\boxed{Y=\mu + \sigma G}$$G$$\mathbb{R}^n$$\mu$$W \subset \mathbb{R}^n$

Теперь в игру вступает язык элементарной геометрии. наименьших квадратов of - это не что иное, как : ортогональная проекция наблюдаемой на пространство которому, как предполагается, принадлежит . Вектор невязок - это : проекция на ортогональное дополнение к в . Размерность равна . МPWYYWМР ⊥ Ш УШ⊥ШРпШ$\hat\mu$$\mu$$P_WY$$Y$$W$$\mu$$P^\perp_WY$$W^\perp$$W$$\mathbb{R^n}$$W^\perp$$\dim(W^\perp)=n-\dim(W)$

Наконец, а имеет стандартное нормальное распределение на , следовательно, его квадратная норма имеет распределение с степенями свободы.P ⊥ W G W ⊥ χ 2 дим ( W ⊥

$$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$$ $P^\perp_WG$$W^\perp$$\chi^2$$\dim(W^\perp)$

Эта демонстрация использует только одну теорему, фактически теорему определения:

Определение и теорема . Случайный вектор в имеет стандартное нормальное распределение в векторном пространстве если он принимает свои значения в и свои координаты в одном ( во всех) ортонормированном базисе из являются независимыми одномерные стандартные нормальные распределения U⊂ R n$\mathbb{R}^n$$U \subset \mathbb{R}^n$$U$$\iff$$U$

(из этой теоремы определения теорема Кохрана настолько очевидна, что не стоит ее формулировать)

Как только мы установим, что , мы можем применить следующую лемму:$\hat\epsilon=(I-H)\epsilon$

---

Лемма: Если является симметричной и идемпотентной вещественной матрицей, то существует матрицу с ортонормированными столбцами , такими , что . Матрица является , где равен рангу .$A_{n\times n}$$U$$A=UU^T$$U$$n\times r$$r$$A$

Доказательство: спектральная теорема для симметричных матриц утверждает, чтогде- диагональная матрица собственных значенийдляи- ортогональная матрица, столбцами которой являются соответствующие собственные векторы. Посколькуидемпотент, каждое собственное значение равно нулю или единице (причина:влечет). Удалить изстолбцы, соответствующие нулевому собственному значению, оставивматрицу; диагональная матрица$A=UDU^T$$D_{n\times n}$$\lambda_1,\ldots,\lambda_n$$A$$U_{n\times n}$$u_1,\ldots,u_n$$A$$Au=\lambda u$$\lambda u =Au=A(Au)=A\lambda u=\lambda^2u$$U$$n\times r$$D$r U у я = U я ранг (становится личностью. Чтобы определить , обратите внимание, что каждый столбец, остающийся в удовлетворяет , следовательно, они образуют основу для диапазона ; так что .$r$$U$$Au_i=u_i$$A$$\operatorname {rank}(A)=r$

---

Применяя лемму, напишите где имеет ортонормированные столбцы и . Тогда . Заметим, что является мерным случайным вектором, имеющим многомерное нормальное распределение со средним нулем и ковариационной матрицей и это Заключить - это сумма квадратов$I-H=UU^T$$U_{n\times r}$$r=\operatorname{rank}(I-H)$ε : = ( I - Н ) ε = U ( U T ε ) N : = U T & epsi ; г вар ( Н ) = Е ( U T ϵ ) ( U T ϵ ) T =$\hat\epsilon:=(I-H)\epsilon=U(U^T\epsilon)$$N:=U^T\epsilon$$r$

$$\operatorname{Var}(N)=E(U^T\epsilon)(U^T\epsilon)^T=U^TE(\epsilon\epsilon^T)U=\sigma^2 (U^TU)=\sigma^2I_{r\times r}$$ $$\operatorname{RSS}:=\hat\epsilon^T\hat\epsilon=(UN)^T(UN)=N^T(U^TU)N=N^TN.$$ $\operatorname{RSS}/\sigma^2$$r$IID стандартные нормальные переменные и, следовательно, имеет распределение хи-квадрат ( ).$r$

Чтобы закончить, находим : рассмотрим для разложение . Идемпотентность подразумевает для всех , откуда является прямой суммой подпространств и и т.$r=n-\operatorname{rank}(X)$$v\in{\mathbb R}^n$$v=Hv + (I-H)v$$H$$(Hv)^T(I-H)v'=0$$v,v'$${\mathbb R}^n$$\operatorname{range}(H)$$\operatorname{range}(I-H)$

$$n=\operatorname{dim}\operatorname{range}(H) + \operatorname{dim}\operatorname{range}(I-H) =\operatorname{rank}(H) + \operatorname{rank}(I-H) = \operatorname{rank}(X)+r.$$