Регрессия наименьшего угла сохраняет корреляции монотонно убывающими и связанными?

Я пытаюсь решить проблему для наименьшего угла регрессии (LAR). Это проблема 3,23 на странице 97 из Гесте и др., Элементы статистического обучения, второй. редактор (5-я печать) .

Рассмотрим регрессионную проблему со всеми переменными и ответом, имеющими среднее значение ноль и стандартное отклонение единицу. Предположим также, что каждая переменная имеет одинаковую абсолютную корреляцию с ответом:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Пусть будет коэффициентом наименьших квадратов в \ mathbf {X} и пусть \ mathbf {u} (\ alpha) = \ alpha \ bf {X} \ hat {\ beta} для \ alpha \ in [0,1] .$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Меня просят показать, что

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ и у меня проблемы с этим. Обратите внимание, что это в основном говорит о том, что корреляции каждого $x_j$ с остатками остаются равными по величине по мере продвижения к $u$ .

Я также не знаю, как показать, что корреляции равны:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Любые указатели будут с благодарностью!

Это проблема 3,23 на странице 97 из Гесте и др., Элементы статистического обучения , второй. редактор (5-я печать) .

Ключом к этой проблеме является хорошее понимание обычных наименьших квадратов (т. Е. Линейной регрессии), в частности, ортогональности подобранных значений и невязок.

Лемма об ортогональности : пусть будет матрицей проектирования , вектором отклика и (истинными) параметрами. Предполагая, что является полным рангом (что мы и будем везде), OLS-оценки : . Подходящие значения: . Тогда . То есть подобранные значения ортогональны остаткам. Это следует, поскольку ,п × р у & beta ; Х & beta ; & beta ; = ( Х Т Х ) - 1 х Т у у = Х ( Х Т Х ) - 1 х Т у ⟨ у , у - у ⟩ = у Т ( у - у ) = 0 Х Т ( у $X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Теперь быть вектор - столбец такой , что является - го столбца . Предполагаемые условия:x j j $x_j$$x_j$$j$$X$

• $\frac{1}{N} \langle x_j, x_j \rangle = 1$ для каждого , ,$j$$\frac{1}{N} \langle y, y \rangle = 1$
• 1р$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ где обозначает вектор из единиц длины , и$1_p$$p$
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ для всех .$j$

Обратите внимание, что, в частности , последнее утверждение леммы об ортогональности идентично для всех .$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

Корреляции связаны

Теперь . Итак, а второе слагаемое в правой части равно нулю по лемме об ортогональности , поэтому по желанию. Абсолютное значение корреляций просто ⟨ х J , у - у ( ) ⟩ = ⟨ х J , ( 1 - α ) у + α у - α у ⟩ = ( 1 - α ) ⟨ х J , у ⟩ + & alpha ; ⟨ у $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

Примечание : правая часть выше не зависит от а числитель точно такой же, как ковариация, так как мы предположили, что все и центрированы (поэтому, в частности, вычитание среднего не требуется ).$j$$x_j$$y$

В чем смысл? По мере увеличения вектор отклика изменяется так, что он постепенно приближается к ( ограниченному! ) Решению наименьших квадратов, полученному в результате включения в модель только первых параметров. Это одновременно изменяет оценочные параметры, поскольку они являются простыми внутренними произведениями предикторов с (измененным) вектором ответа. Модификация принимает особую форму, хотя. Он сохраняет (величину) корреляции между предикторами и измененным откликом одинаковыми на протяжении всего процесса (даже если значение корреляции изменяется). Подумайте о том, что это делает геометрически, и вы поймете название процедуры!$\alpha$$p$

---

Явная форма (абсолютной) корреляции

Давайте сосредоточимся на термине в знаменателе, поскольку числитель уже находится в требуемой форме. У нас есть

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

Подставляя в и используя линейность внутреннего произведения, получим$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Соблюдайте это

• $\langle y, y \rangle = N$ по предположению,
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , применяя лемму ортогональности (еще раз) ко второму члену в середине; а также,
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ по определению.

Собрав все это вместе, вы заметите, что мы получаем

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

Чтобы обернуть вещи, и поэтому ясно, что монотонно уменьшается в и как .$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

Эпилог : сконцентрируйтесь на идеях здесь. Там действительно только один. Ортогональность лемма делает почти всю работу за нас. Все остальное - это алгебра, нотация и умение использовать последние два.