Являются ли оценки коэффициентов регрессии некоррелированными?

Рассмотрим простую регрессию (нормальность не предполагается): где со средним и стандартным отклонением . Являются ли оценки наименьших квадратов и некоррелированными?

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

Это важное соображение при планировании экспериментов, где может быть желательно не иметь (или очень мало) корреляции между оценками и . Такое отсутствие корреляции может быть достигнуто путем управления значениями .$\hat a$$\hat b$$X_i$

---

Чтобы проанализировать влияние на оценки, значения (которые являются векторами строк длины ) собраны вертикально в матрицу , матрицу проектирования, имеющую столько строк, сколько имеется данных, и (очевидно, ) две колонки. Соответствующие собраны в один длинный (столбчатый) вектор . В этих терминах, записывая для собранных коэффициентов, модель$X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

(обычно) предполагается, что независимые случайные величины, дисперсии являются постоянным для некоторого неизвестного . Зависимые наблюдения принимается одним реализации векторной случайной величины .$Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

Решение OLS является

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

Предполагая, что обратная матрица существует. Таким образом, используя основные свойства умножения матриц и ковариации,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Матрица имеет всего две строки и два столбца, соответствующих параметрам модели . Корреляция с пропорциональна недиагональ- элементов который по правилу Крамера пропорциональны скалярному произведению двух столбцов . Так как один из столбцов равен всем с, а точечное произведение с другим столбцом (состоящим из ) является их суммой, находим$\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$$X_i$

$\hat a$ и не коррелированы, если и только сумма (или эквивалентно среднее) равна нулю.$\hat b$$X_i$

Это условие ортогональности часто достигается за счет центрирования на (путем вычитания их среднего значения из каждого). Хотя это не изменит предполагаемый наклон , это действительно изменит предполагаемый перехват . Важность этого зависит от приложения.$X_i$$\hat b$$\hat a$

---

Этот анализ применяется к множественной регрессии: матрица проектирования будет иметь столбцы для независимых переменных (дополнительный столбец состоит из с), а будет вектором длины , но в остальном все проходит как прежде. $p+1$$p$$1$$\beta$$p+1$

На обычном языке два столбца называются ортогональными, когда их произведение на точки равно нулю. Когда один столбец (скажем, столбец ) ортогонален всем другим столбцам, это легко продемонстрировать алгебраическим фактом, что все недиагональные записи в строке и столбце из равны нулю (то есть компоненты и для всех равны нулю). Следовательно,$X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

Две оценки коэффициента множественной регрессии и не коррелированы всякий раз, когда один (или оба) из соответствующих столбцов матрицы проектирования ортогональны всем другим столбцам. β$\hat\beta_i$$\hat\beta_j$

Многие стандартные экспериментальные планы состоят из выбора значений независимых переменных, чтобы сделать столбцы взаимно ортогональными. Это «разделяет» полученные оценки, гарантируя - до того, как будут собраны какие-либо данные! - что оценки будут некоррелированными. (Когда ответы имеют нормальное распределение, это означает, что оценки будут независимыми, что значительно упрощает их интерпретацию.)