Почему остатки в линейной регрессии всегда суммируются до нуля, когда включен перехват?

Я беру курс по моделям регрессии, и одно из свойств, предусмотренных для линейной регрессии, заключается в том, что при включении перехвата остатки всегда суммируются до нуля.

Кто-нибудь может дать хорошее объяснение, почему это так?

Это следует непосредственно из нормальных уравнений, то есть уравнений, которые решает оценщик OLS,

Вектор внутри скобок - это, конечно, остаточный вектор или проекция на ортогональное дополнение пространства столбцов , если вам нравится линейная алгебра. Теперь включение вектора единиц в матрицу , которая, кстати, не обязательно должна быть в первом столбце, как это обычно делается, приводит к х $\mathbf{y}$$X$$\mathbf{X}$

В задаче с двумя переменными это еще проще увидеть, поскольку минимизация суммы квадратов невязок приводит нас к

когда мы берем производную по пересечению. Отсюда мы приступаем к получению знакомой оценки

где снова мы видим, что построение наших оценок накладывает это условие.

В случае, если вы ищете довольно интуитивное объяснение.

В некотором смысле модель линейной регрессии - не что иное, как причудливое среднее. Чтобы найти среднее арифметическое по некоторым значениям , мы находим значение, которое является мерой центральности в том смысле, что сумма всех отклонений (где каждое отклонение определяется как ) справа от среднего значения равны сумме всех отклонений слева от этого среднего. Нет никакой внутренней причины, почему эта мера хороша, не говоря уже о лучшем способе описания среднего значения выборки, но она, безусловно, интуитивно понятна и практична. Важным моментом является то, что, определяя таким образом среднее арифметическое, из этого обязательно следует, что, как только мы построим среднее арифметическое, все отклонения от этого среднего значения должны быть равны нулю по определению!$\bar{x}$$x_1, x_2, \dots, x_n$$u_i = x_i - \bar{x}$

В линейной регрессии это ничем не отличается. Мы подходите линии таким образом, чтобы сумма всех различий между нашими подобранными значениями (которые находятся на линии регрессии) и фактических значений, которые выше линии в точности равна сумме всех различий между линией регрессии и все значения ниже линия. Опять же, нет никакой внутренней причины, почему это лучший способ построить подгонку, но она проста и интуитивно привлекательна. Как и в случае среднего арифметического: при построении подобранных значений таким образом, по построению обязательно следует, что все отклонения от этой линии должны суммироваться до нуля, иначе это просто не будет повторением OLS.

Когда перехват включен в множественную линейную регрессию, В регрессии наименьших квадратов сумма квадратов ошибок сведена к минимуму. Возьмите частичное производная от SSE по отношению к и установка его в ноль.

Ключевое наблюдение состоит в том, что, поскольку модель имеет точку пересечения, , который является первым столбцом проектной матрицы , можно записать как где - вектор столбца со всеми нулями, кроме первого компонента. Также обратите внимание, что в матричной записи сумма остатков равна всего .$1$$X$

Следовательно,

Простой вывод с использованием матричной алгебры:

$\sum e$ можно записать как$1^Te$

потом

$1^Te = 1^T(M_x y)$ где - ортогональная матрица. Поскольку является симметричным, мы можем переставить так, чтобы $M_x$$M_x$$(M_x1)^Ty$

который равен нулю, если и ортогональны, что имеет место, если матрица регрессоров содержит (действительно, вектор ). 1 х $M_x$$1$$x$$1$

1. $e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
2. $\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ so$\hat{a} = \frac{1}{n}\sum v_i$
3. $\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..