Предел оценки гребневой регрессии «единичная дисперсия» при

Рассмотрим регрессию гребня с дополнительным ограничением, требующим, чтобы имел единичную сумму квадратов (эквивалентно, единичную дисперсию); при необходимости можно предположить, что имеет единичную сумму квадратов: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

Каков предел $\hat{\boldsymbol\beta}_\lambda^*$ когда $\lambda\to\infty$ ?

Вот некоторые утверждения, которые я считаю верными:

Когда $\lambda=0$ , есть аккуратное явное решение: возьмите оценку OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ и нормализуйте его для удовлетворения ограничения (это можно увидеть, добавив множитель Лагранжа и дифференцируя):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
В общем случае решение
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ Я не вижу решения в закрытой форме, когда $\lambda >0$ . Кажется, что решение эквивалентно обычному оценщику RR с некоторым $\lambda^*$ нормализованным для удовлетворения ограничения, но я не вижу закрытой формулы для $\lambda^*$ .
Когда $\lambda\to \infty$ , обычный оценщик RR
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ очевидно сходится к нулю, но его направление $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ сходится к направлению $\mathbf X^\top \mathbf y$ , он же первые частичные наименьших квадратов (PLS) компонента.

Утверждения (2) и (3) вместе заставляют меня думать, что, возможно, $\hat{\boldsymbol\beta}_\lambda^*$ также сходится к соответствующим образом нормализованным $\mathbf X^\top \mathbf y$ , но я не уверен, что это правильно, и мне так и не удалось убедить себя в любом случае.

pca regularization ridge-regression partial-least-squares constrained-regression амеба говорит восстановить монику
источник

Ответы:

Геометрическая интерпретация

Оценка, описанная в вопросе, является множителем Лагранжа, эквивалентным следующей задаче оптимизации:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

что геометрически можно рассматривать как нахождение наименьшего эллипсоида который касается пересечения сферы и эллипсоида $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Сравнение со стандартным видом регрессии гребня

С точки зрения геометрического представления это изменяет старый вид (для стандартной регрессии гребня) точки, где сфероид (ошибки) и сфера ( ) касаются $\|\beta\|^2=t$ . В новом представлении, где мы ищем точку, где сфероид (ошибки) касается кривой (норма бета ограничена ) $\|X\beta\|^2=1$ . Одна сфера (синяя на левом изображении) превращается в фигуру меньшего размера из-за пересечения с ограничением . $\|X\beta\|=1$

В двумерном случае это просто для просмотра.

Когда мы настраиваем параметр мы меняем относительную длину синих / красных сфер или относительные размеры и (В теории множителей Лагранжа, вероятно, есть аккуратный способ формально и точно описать , что это означает , что для каждого как функции , или обратных, является монотонной функцией. Но я думаю , что вы можете увидеть интуитивно , что сумма квадратов невязок только возрастает , когда мы уменьшаем .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

Решение для такое, как вы указали на линии между 0 и $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

Решение для (действительно, как вы прокомментировали) в загрузках первого основного компонента. Это та точка, где является наименьшим для . Это точка, где окружность касается эллипса в одной точке. $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

В этом двумерном виде ребра пересечения сферы и сфероида являются точками. В нескольких измерениях это будут кривые $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Сначала я представил, что эти кривые будут эллипсами, но они более сложные. Вы можете представить, что эллипсоид пересекается с шаром как некоторые вид эллипсоида, но с ребрами, которые не являются простыми эллипсами) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

Относительно лимита $\lambda \to \infty$

Сначала (предыдущие правки) я написал, что будет некоторое ограничение выше которого все решения одинаковы (и они находятся в точке ). Но это не тот случай $\lambda_{lim}$ $\beta^*_\infty$

Рассмотрим оптимизацию как алгоритм LARS или градиентный спуск. Если для какой-либо точки существует направление, в котором мы можем изменить так, чтобы штрафной член увеличивался меньше, чем член SSR то вы не находитесь в минимуме , $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

В обычной регрессии гребня у вас нулевой наклон (во всех направлениях) для в точке . Таким образом, для всех конечных решение не может быть (поскольку можно сделать бесконечно малый шаг, чтобы уменьшить сумму квадратов невязок без увеличения штрафа). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Для LASSO это не то же самое, поскольку: штраф равен (поэтому он не является квадратичным с нулевым наклоном). Из-за этого LASSO будет иметь некоторое предельное значение выше которого все решения равны нулю, поскольку штрафной член (умноженный на ) будет увеличиваться больше, чем уменьшается остаточная сумма квадратов. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Для ограниченного гребня вы получаете то же самое, что и обычная регрессия гребня. Если вы измените начиная с , то это изменение будет перпендикулярна к ( перпендикулярно к поверхности эллипса ) и можно изменить на бесконечно малый шаг, не изменяя штрафной член, но уменьшая сумму квадратов невязок. Таким образом, для любой конечной точка не может быть решением. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Дополнительные примечания относительно лимита $\lambda \to \infty$

Обычный предел регрессии гребня для до бесконечности соответствует другой точке в регрессии ограниченного гребня. Этот «старый» предел соответствует точке, где равен -1. Тогда производная функции Лагранжа в нормированной задаче $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ соответствует решению для производной функции Лагранжа в стандартной задаче

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Автор StackExchangeStrike

Секст Эмпирик
источник

+1. Большое спасибо, это очень полезно! Мне понадобится некоторое время, чтобы обдумать это.

говорит амеба: восстанови Монику

Стоит отметить, что красный и черный эллипсоиды имеют одинаковую форму: вот почему точка, в которой они соприкасаются, лежит на линии, соединяющей их центры. Хорошее графическое доказательство пункта № 1 в моем вопросе.

говорит амеба: восстанови Монику

Я пытаюсь понять, где на вашем рисунке находится бета, которая соответствует оценке гребня с бесконечной лямбдой, нормализованной для лежания на черном эллипсе. Я думаю, что это где-то между и (используя мою запись) - две точки, которые отмечены черными кружками на вашем рисунке. Таким образом, если мы выполним регрессию гребня и нормализуем решение и увеличим лямбду от 0 до бесконечности, это, вероятно, приведет нас по той же дуге, но не весь путь до ПК1. Вместо этого, явно вставив ограничение , вы получаете решения вплоть до PC1.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

говорит амеба: восстанови Монику

+5 (Я получил награду, которую я с радостью присужду вашему ответу). Я также разместил свой собственный ответ, потому что я сделал некоторые алгебраические выводы, и это было слишком много, чтобы добавить к вопросу. Я не убежден вашим выводом, что будет некоторый конечный после которого решение больше не изменится и будет дано PC1. Я не вижу этого алгебраически, и я не совсем понимаю ваш аргумент, почему он должен существовать. Попробуем разобраться.

λ_{lim}

$\lambda_\text{lim}$

говорит амеба: восстанови Монику

@amoeba, ты был прав насчет того, что конечное не существует. Я слишком много спорил интуитивно и быстро перешел от определенного условия регулярной регрессии к гребню к регрессии с ограниченным гребнем. Обычный RR имеет нулевой наклон (во всех направлениях) для в точке . Я думал, что (начиная с ) вы не получите это с помощью ограниченной регрессии. Однако, поскольку ограничена эллипсоидом вы не можете «двигаться» во всех направлениях.

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

Секст Эмпирик

Это алгебраический аналог красивого геометрического ответа @ Martijn.

Прежде всего, предел когда очень просто получить: в пределе первое слагаемое в функции потерь становится пренебрежимо малым и поэтому может быть проигнорировано. Задача оптимизации становится который является первым основным компонентом

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (соответственно масштабируется). Это отвечает на вопрос.

Теперь давайте рассмотрим решение для любого значения которое я упомянул в пункте № 2 моего вопроса. Добавляя к функции потерь множитель Лагранжа и дифференцируя, получаем $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

Как ведет себя это решение, когда растет от нуля до бесконечности? $\lambda$

Когда , мы получаем масштабированную версию решения OLS: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Для положительных, но небольших значений , решение представляет собой уменьшенную версию некоторой оценки гребня: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Когдазначение необходимое для удовлетворения ограничения, равно . Это означает, что решение представляет собой масштабированную версию первого компонента PLS (то есть, что соответствующей оценки гребня равно ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Когда становится больше этого значения, необходимый член становится отрицательным. Отныне решение представляет собой масштабную версию псевдориджевой оценки с отрицательным параметром регуляризации ( отрицательный гребень ). С точки зрения направлений, мы теперь прошли регрессию гребня с бесконечной лямбдой. $\lambda$ $(1+\mu)$
Когда , термин обнуляется (или расходится до бесконечность), если только где - наибольшее единственное значение . Это сделает конечным и пропорциональным первой главной оси . Нам нужно установить для удовлетворения ограничения. Таким образом, мы получаем, что $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

В целом, мы видим, что эта ограниченная проблема минимизации охватывает версии OLS, RR, PLS и PCA с единичной дисперсией для следующего спектра:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Похоже, что это эквивалентно неясной (?) Хемометрической структуре, называемой "континуальная регрессия" (см. Https://scholar.google.de/scholar?q="continuum+regression " , в частности Stone & Brooks 1990, Sundberg 1993, Björkström & Sundberg, 1999 и т. Д.), Который допускает такое же объединение путем максимизации специального критерияЭто, очевидно, дает масштабированный OLS, когда , PLS, когда , PCA, когда , и может показать, что он дает масштабированный RR для

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , см. Sundberg 1993.

Несмотря на небольшой опыт работы с RR / PLS / PCA / и т. Д., Я должен признать, что никогда раньше не слышал о «регрессии континуума». Я также должен сказать, что мне не нравится этот термин.

Схема, которую я сделал на основе @ Martijn's:

Обновление: рисунок обновлен с отрицательным путем, огромное спасибо @Martijn за подсказку, как это должно выглядеть. См. Мой ответ в разделе « Понимание отрицательной регрессии гребня» для более подробной информации.

амеба говорит восстановить монику
источник

«Континуальная регрессия», по-видимому, является одной из удивительно широкой категории методов, направленных на объединение PLS и PCA в рамках общей структуры. Между прочим, я никогда не слышал об этом до исследования отрицательного гребня (я даю ссылку на Bjorkstron & Sundberg, 1999, статья в первом комментарии к вопросу об отрицательном гребне, на который вы ссылаетесь), хотя это, кажется, довольно широко обсуждается в хемометрическая литература. Должна быть какая-то историческая причина, почему она развивалась, по-видимому, изолированно от других областей статистики. (1/3)

Райан Симмонс

Вы можете захотеть прочитать одну статью - де Йонг и соавт. (2001) . Их формулировка «канонический PLS», на первый взгляд, кажется эквивалентной вашей, хотя я признаю, что я еще недостаточно тщательно сравнивал математику (они также предоставляют обзор нескольких других обобщений PLS-PCA в том же духе). Но может быть полезно увидеть, как они объяснили проблему. (2/3)

Райан Симмонс

В случае, если эта ссылка умирает, полное цитирование: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. «Канонические частичные наименьшие квадраты и непрерывная регрессия мощности». Журнал Chemometrics, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

Райан Симмонс

ах, хорошо, тогда и переходят в бесконечность но их соотношение остается . В любом случае путь регрессии отрицательного гребня должен находиться в (отрицательном) секторе между векторами PLS и PCA, чтобы их проекция на эллипснаходится между точками PLS и PCA. (норма, ведущая к бесконечности, имеет смысл, поскольку стремится к бесконечности, поэтому путь продолжается в нижний правый угол, первоначально касательный к отрицательному, PLS и, в конечном счете, к PCA)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

Sextus Empiricus

Это добавило бы к визуализации. Я представляю себе, что текущие три точки пути RR (где касаются окружность и эллипсоид) продолжаются вниз вправо и в конечном итоге на бесконечности окружность и эллипсоид должны 'касание' в направлении от на месте , где круг касается эллипсоида

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

Секст Эмпирик

Предел оценки гребневой регрессии «единичная дисперсия» при

Ответы:

Геометрическая интерпретация

Сравнение со стандартным видом регрессии гребня

Относительно лимитаλ→∞λ→∞\lambda \to \infty

Дополнительные примечания относительно лимитаλ→∞λ→∞\lambda \to \infty

Относительно лимита $\lambda \to \infty$

Дополнительные примечания относительно лимита $\lambda \to \infty$