Почему наклон всегда равен 1 при регрессии ошибок на остатках с использованием OLS?

Я экспериментировал с отношением между ошибками и невязками, используя несколько простых симуляций в R. Одна вещь, которую я обнаружил, заключается в том, что независимо от размера выборки или дисперсии ошибок, я всегда получаю ровно для наклона, когда вы подходите к модели$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Вот симуляция, которую я делал:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eи rимеют высокую (но не идеальную) корреляцию даже для небольших выборок, но я не могу понять, почему это происходит автоматически. Математическое или геометрическое объяснение приветствуется.

Уубер ответит отлично! (+1) Я решил эту проблему, используя наиболее знакомую мне нотацию, и подумал, что (менее интересный, более рутинный) вывод стоит включить сюда.

Пусть - модель регрессии, для X ∈ R n × p и ϵ шум. Тогда регрессия у против столбцов X имеет нормальные уравнения Х Т ( Y - X β ) = 0 , дающие оценки β = ( Х Т Х ) - 1 х Т у $y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ Поэтому регрессии имеет невязки для Н = Х ( Х Т Х ) - 1 х Т . $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

Регрессия на r приводит к оценочному наклону, определяемому как ( r T r ) - 1 r T$\epsilon$$r$ такя-Нсимметрична и идемпотентная иepsi∉ям(X)почти наверное.

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

Кроме того, этот аргумент также сохраняется, если мы включаем перехват, когда мы выполняем регрессию ошибок для остатков, если перехват был включен в исходную регрессию, поскольку ковариаты ортогональны (т.е. из нормальных уравнений) ,$1^T r = 0$

$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

$\beta x$$e$$Y$$bx$$Y-bx$$r$

$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$$1$

---

$r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$