Имеет ли значение порядок объясняющих переменных при расчете их коэффициентов регрессии?

Сначала я думал, что порядок не имеет значения, но потом я прочитал о процессе ортогонализации Грамма-Шмидта для вычисления множественных коэффициентов регрессии, и теперь у меня возникли вторые мысли.

Согласно процессу Грамма-Шмидта, чем позже объясняющая переменная индексируется среди других переменных, тем меньше ее остаточный вектор, потому что из него вычитаются остаточные векторы предшествующих переменных. В результате коэффициент регрессии объясняющей переменной также меньше.

Если это так, то остаточный вектор рассматриваемой переменной будет больше, если он был проиндексирован ранее, поскольку из него будет вычтено меньше остаточных векторов. Это означает, что коэффициент регрессии тоже будет больше.

Итак, меня попросили уточнить мой вопрос. Так что я разместил скриншоты из текста, который меня сначала смутил. Хорошо, здесь идет.

Насколько я понимаю, есть как минимум два варианта расчета коэффициентов регрессии. Первый вариант обозначен (3.6) на скриншоте ниже.

Вот второй вариант (мне пришлось использовать несколько скриншотов).

Если я не читаю что-то (что определенно возможно), кажется, что порядок имеет значение во втором варианте. Имеет ли это значение в первом варианте? Почему или почему нет? Или моя система координат настолько испорчена, что это даже не правильный вопрос? Кроме того, все это как-то связано с суммой квадратов типа I против суммы квадратов типа II?

Большое спасибо заранее, я так растерялся!

Я полагаю, что путаница может быть вызвана чем-то более простым, но это дает хорошую возможность рассмотреть некоторые связанные вопросы.

Обратите внимание, что в тексте не утверждается, что все коэффициенты регрессии может быть вычислен через последовательные векторы невязок как но скорее только последний , , может быть рассчитан таким образом! β я ? = ⟨У,гя$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$Β

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

Последовательная схема ортогонализации (форма ортогонализации Грама – Шмидта) (почти) создает пару матриц и такой, что где - это с ортонормированными столбцами, а - это верхней треугольной. Я говорю «почти», так как алгоритм задает только до норм столбцов, которые в общем случае не будут единичными, но могут быть сделаны с единичной нормой путем нормализации столбцов и соответствующей простой корректировки координаты матрица .$\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$X = Z $\G$

$$\m X = \Z \G \>,$$ $\Z$G = ( g i j ) p × p Z $n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

Предполагая, конечно, что имеет ранг , единственным решением наименьших квадратов является вектор который решает систему р ≤ п β Х Т Х β = Х Т $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

Подставляя и используя (по построению), получим что эквивалентно Z T Z = Я О Т О β = О Т Z Т $\m X = \Z \G$$\Z^T \Z = \m I$G β = Z Т

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Теперь сосредоточимся на последнем ряду линейной системы. Единственный ненулевой элемент в последней строке - это . Итак, мы получаем это Нетрудно увидеть (проверьте это как проверку понимания!), Чтои так это дает решение. ( Предостерегающий лектор : я использовал уже нормализованный, чтобы иметь единичную норму, тогда как в книге они не имеют . Это объясняет тот факт, что книга имеет квадратную норму в знаменателе, тогда как у меня есть только норма.)$\G$$g_{pp}$

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

Чтобы найти все коэффициенты регрессии, нужно выполнить простой шаг обратной подстановки, чтобы найти для индивидуума . Например, для строки , и так Можно продолжить эту процедуру, работая «в обратном направлении» от последнего ряда системы до первого, вычитая взвешенные суммы уже рассчитанных коэффициентов регрессии, а затем деля на главный член чтобы получить .$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

Суть этого раздела в ESL заключается в том, что мы можем изменить порядок столбцов чтобы получить новую матрицу при этом й исходный столбец теперь является последним. Если мы затем применим процедуру – Шмидта к новой матрице, мы получим новую ортогонализацию, такую, что решение для исходного коэффициента будет найдено простым решением выше. Это дает нам интерпретацию для коэффициента регрессии . Это одномерная регрессия для остаточного вектора, полученная путем "регрессии" оставшихся столбцов матрицы проектирования из .$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Общие QR-разложения

Процедура Грама-Шмидта , но один способ получения QR - разложение . Действительно, есть много причин, чтобы предпочесть другие алгоритмические подходы процедуре Грамма-Шмидта.$\m X$

Размышления домохозяев и ротации Гивенса обеспечивают более численно устойчивые подходы к этой проблеме. Обратите внимание, что вышеприведенное развитие не меняется в общем случае разложения QR. А именно, пусть быть любой QR - разложение . Тогда, используя точно те же рассуждения и алгебраические манипуляции, что и выше, мы получаем, что решение наименьших квадратов удовлетворяет который упрощается до Так как является верхнетреугольной, то работает тот же метод обратной замены. Сначала мы решаем для

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$и затем продвигайтесь назад снизу вверх. Выбор для которых QR - разложения алгоритм использовать обычно шарниры на контроль численную неустойчивости и, с этой точки зрения, Гры-Шмидт , как правило , не является конкурентным подходом.

Это понятие разложения как ортогональной матрицы на что-то еще можно обобщить немного дальше, чтобы получить очень общую форму для подобранного вектора , но я боюсь, что этот ответ уже стал слишком длинным ,$\m X$$\hat{\m y}$

Я книгу, и похоже, что упражнение 3.4 может оказаться полезным для понимания концепции использования GS для нахождения всех коэффициентов регрессии (не только конечного коэффициента - поэтому я набрал решение. Надеюсь, это полезно.$\beta_j$$\beta_p$

Упражнение 3.4 в ESL

Покажите, как вектор коэффициентов наименьших квадратов может быть получен за один проход процедуры Грамма-Шмидта. Представлять свое решение с точки зрения QR - разложения . $X$

Решение

Напомним, что за один проход процедуры Грамма-Шмидта мы можем записать нашу матрицу как где содержит ортогональные столбцы , а - матрица верхнего диагонали с матрицами на диагонали, и . Это является отражением того факта, что по определению$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

Теперь, используя разложение, мы можем написать , где - ортогональная матрица, а - верхняя треугольная матрица. У нас и , где - диагональная матрица с, $QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

Теперь по определению имеем Теперь, используя разложение, мы имеем$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$ - верхний треугольник, мы можем написать в соответствии с нашими предыдущими результатами. Теперь путем обратной подстановки мы можем получить последовательность коэффициентов регрессии . Например, чтобы вычислить , мы имеем

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ и затем решение для . Этот процесс можно повторить для всех , получая таким образом коэффициенты регрессии за один проход процедуры Грамма-Шмидта.$\hat \beta_{p-1}$$\beta_j$

Почему бы не попробовать и сравнить? Установите набор коэффициентов регрессии, затем измените порядок и установите их снова и посмотрите, отличаются ли они (кроме возможной ошибки округления).

Как указывает @mpiktas, не совсем понятно, что вы делаете.

Я могу видеть использование GS для решения для в уравнении наименьших квадратов . Но тогда вы будете делать GS на , а не на исходных данных. В этом случае коэффициенты должны быть одинаковыми (кроме возможной ошибки округления).( x ′ x ) B = ( x ′ y ) ( x ′ x $B$$(x'x)B=(x'y)$$(x'x)$

Другой подход GS в регрессии заключается в применении GS к переменным предикторам для устранения коллинеарности между ними. Тогда ортогонализированные переменные используются в качестве предикторов. В этом случае порядок имеет значение, и коэффициенты будут отличаться, потому что интерпретация коэффициентов зависит от порядка. Рассмотрим 2 предиктора и и выполните GS для них в этом порядке, а затем используйте их в качестве предикторов. В этом случае первый коэффициент (после перехвата) сам по себе показывает влияние на , а второй коэффициент - это влияние на после корректировки наx 2 x 1 y x 2 y x 1 x 2 y x 1 x 1 x $x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$, Теперь, если вы измените порядок на x, тогда первый коэффициент показывает влияние на само по себе (игнорируя а не подстраиваясь под него), а второй - это эффект поправкой на .$x_2$$y$$x_1$$x_1$$x_2$