Как вывести дисперсионно-ковариационную матрицу коэффициентов в линейной регрессии

Я читаю книгу о линейной регрессии и у меня возникли проблемы с пониманием дисперсионно-ковариационной матрицы $\mathbf{b}$ :

Диагональные элементы достаточно просты, но недиагональные немного сложнее, меня удивляет то, что

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

но здесь нет следов и β 1 .$\beta_0$$\beta_1$

Это действительно крутой вопрос, который бросает вызов вашему базовому пониманию регрессии.

Сначала уберите начальную путаницу в отношении обозначений. Мы смотрим на регрессию:

$$y=b_0+b_1x+\hat{u}$$

где $b_0$ и $b_1$ являются оценками истинного $\beta_0$ и $\beta_1$ , и у являются остатки регрессии. Обратите внимание, что базовая истинная и ненаблюдаемая регрессия, таким образом, обозначается как:$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

С ожиданием $E[u]=0$ и дисперсией $E[u^2]=\sigma^2$ . Некоторые книги обозначают $b$ как р и мы адаптируем эту конвенцию здесь. Мы также используем матричную запись, где b - вектор 2x1, который содержит оценки β = [ β 0 , β 1 ] ′ , а именно b = [ b 0 , b 1 ] ′$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$, (Также для ясности я рассматриваю X как фиксированный в следующих вычислениях.)

Теперь к вашему вопросу. Ваша формула для ковариации действительно верна, то есть:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Я думаю, вы хотите знать, откуда у нас истинные ненаблюдаемые коэффициенты $\beta_0, \beta_1$ в этой формуле? Они на самом деле отменяются, если мы сделаем шаг вперед, расширив формулу. Чтобы увидеть это, обратите внимание, что дисперсия численности оценщика определяется как:

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Эта матрица содержит дисперсии в диагональных элементах и ​​ковариации в недиагональных элементах.

Чтобы перейти к приведенной выше формуле, давайте обобщим вашу заявку, используя матричную запись. Поэтому обозначим дисперсию с $Var[\cdot]$ и ожидание с $E[\cdot]$ .

$$Var[b]=E[b^2]-E[b]E[b']$$

По сути, у нас есть общая формула дисперсии, просто с использованием матричной записи. Уравнение разрешается при подстановке в стандартное выражение для оценки $b=(X'X)^{-1}X'y$ . Также предположим, что $E[b]=\beta$ является несмещенной оценкой. Отсюда получаем:

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Обратите внимание, что у нас справа матрица $\beta^2$ - 2x2, а именно $bb'$ , но вы уже можете догадаться, что произойдет с этим термином в ближайшее время.

Заменив $y$ нашим выражением для истинного базового процесса генерации данных выше, мы имеем:

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

так как $E[u]=0$ . Кроме того, квадратичный $\beta^2$ член отменяется, как и ожидалось.

Таким образом, мы имеем:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

По линейности ожиданий. Отметим, что по предположению $E[u^2]=\sigma^2$ и $((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$ поскольку $X'X$ является $K\times K$ симметричная матрица и, следовательно, такая же, как ее транспонировать. Наконец мы приходим к

$$Var[b]=\sigma^2(X'X)^{-1}$$

$\beta$$\beta_0\beta_1$

$\sigma^2(X'X)^{-1}$ and independent of $\beta$. But what does this mean? (I believe you asked also for a more general understanding of the general covariance matrix)

Look at the formula in the book. It simply asserts that the variance of the estimator increases for when the true underlying error term is more noisy ($\sigma^2$ increases), but decreases for when the spread of X increases. Because having more observations spread around the true value, lets you in general build an estimator that is more accurate and thus closer to the true $\beta$. On the other hand, the covariance terms on the off-diagonal become practically relevant in hypothesis testing of joint hypotheses such as $b_0=b_1=0$. Other than that they are a bit of a fudge, really. Hope this clarifies all questions.

In your case we have

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Invert this matrix and you will get the desired result.

It appears that $\beta_0 \beta_1$ are the predicted values (expected values). They make the switch between $E(b_0)=\beta_0$ and $E(b_1)=\beta_1$.