Почему регрессия гребня не сократит некоторые коэффициенты до нуля, как лассо?

При объяснении регрессии LASSO часто используется диаграмма ромба и круга. Говорят, что поскольку форма ограничения в LASSO представляет собой алмаз, полученное решение наименьших квадратов может касаться угла алмаза, так что оно приводит к усадке некоторой переменной. Однако в регрессии гребня, потому что это круг, он часто не будет касаться оси. Я не мог понять, почему он не может коснуться оси или может иметь меньшую вероятность, чем LASSO, чтобы уменьшить определенные параметры. Кроме того, почему LASSO и гребень имеют меньшую дисперсию, чем обычные наименьшие квадраты? Выше мое понимание риджа и LASSO, и я могу ошибаться. Может ли кто-нибудь помочь мне понять, почему эти два метода регрессии имеют меньшую дисперсию?

Это касается дисперсии

OLS обеспечивает то, что называется лучшим линейным объективным оценщиком (СИНИЙ) . Это означает, что если вы возьмете любой другой объективный оценщик, он будет иметь более высокую дисперсию, чем решение OLS. Так с какой стати мы должны рассматривать что-то еще, кроме этого?

Теперь трюк с регуляризацией, такой как лассо или гребень, заключается в добавлении некоторого смещения по очереди, чтобы попытаться уменьшить дисперсию. Потому что , когда вы оцениваете свои ошибки предсказания, это сочетание трех вещей :

$$\text{E}[(y-\hat{f}(x))^2]=\text{Bias}[\hat{f}(x))]^2 +\text{Var}[\hat{f}(x))]+\sigma^2$$ Последняя часть - это неустранимая ошибка, поэтому мы не можем ее контролировать. При использовании решения OLS термин смещения равен нулю. Но может быть так, что второй член большой. Это может быть хорошей идеей ( если мы хотим хорошие прогнозы ), чтобы добавить некоторый уклон и, надеюсь, уменьшить дисперсию.

Так что же это ? Это дисперсия, введенная в оценки параметров вашей модели. Линейная модель имеет вид y = X β + ϵ $\text{Var}[\hat{f}(x))]$ Для того, чтобы получить решение МНК мы решить проблему минимизации Arg мин & beta ; | | y - X β | | 2 Это обеспечивает решение & beta ; МНК = ( Х Т Х ) - 1 х Т у задачи минимизации конька регрессии аналогично: Arg мин & beta ; | | y - X β |

$$\mathbf{y}=\mathbf{X}\beta + \epsilon,\qquad \epsilon\sim\mathcal{N}(0,\sigma^2I)$$ $$\arg \min_\beta ||\mathbf{y}-\mathbf{X}\beta||^2$$ $$\hat{\beta}_{\text{OLS}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$ Теперь решение становится β - Ридж = ( X T X + λ I ) - 1 X T у Таким образоммы добавляем этот Л I (называемый гребень) на диагонали матрицы, мы инвертировать. Эффект, который это оказывает на матрицу X T X, состоит в том, что он «тянет» определитель матрицы от нуля. Таким образом, когда вы инвертируете его, вы не получите огромных собственных значений. Но это приводит к еще одному интересному факту, а именно: дисперсия оценок параметров становится ниже. $$\arg \min_\beta ||\mathbf{y}-\mathbf{X}\beta||^2+\lambda||\beta||^2\qquad \lambda>0$$ $$\hat{\beta}_{\text{Ridge}} = (\mathbf{X}^T\mathbf{X}+\lambda I)^{-1}\mathbf{X}^T\mathbf{y}$$ $\lambda I$$\mathbf{X}^T\mathbf{X}$

Я не уверен, что смогу дать более четкий ответ, чем этот. Все это сводится к ковариационной матрице для параметров в модели и величине значений в этой ковариационной матрице.

В качестве примера я взял регрессию гребня, потому что это гораздо легче лечить. Лассо намного сложнее, и по- прежнему ведутся активные исследования на эту тему.

На этих слайдах представлена ​​дополнительная информация, а в этом блоге также есть соответствующая информация.

РЕДАКТИРОВАТЬ: Что я имею в виду, что при добавлении гребня детерминант " оттягивается " от нуля?

$\mathbf{X}^T\mathbf{X}$

$$\text{det}(\mathbf{X}^T\mathbf{X}-tI)=0$$ $t$ $$\text{det}(\mathbf{X}^T\mathbf{X}+\lambda I-tI)=0$$ $$\text{det}(\mathbf{X}^T\mathbf{X}-(t-\lambda)I)=0$$ $(t-\lambda)$$t_i$$t_i+\lambda$$\lambda$

Вот некоторый код R, чтобы проиллюстрировать это:

# Create random matrix
A <- matrix(sample(10,9,T),nrow=3,ncol=3)

# Make a symmetric matrix
B <- A+t(A)

# Calculate eigenvalues
eigen(B)

# Calculate eigenvalues of B with ridge
eigen(B+3*diag(3))

Который дает результаты:

> eigen(B)
$values
[1] 37.368634  6.952718 -8.321352

> eigen(B+3*diag(3))
$values
[1] 40.368634  9.952718 -5.321352

Таким образом, все собственные значения сдвигаются ровно на 3.

В общем случае это можно доказать, используя теорему Гершгорина о окружности . Там центры окружностей, содержащие собственные значения, являются диагональными элементами. Вы всегда можете добавить «достаточно» к диагональному элементу, чтобы сделать все круги в положительной реальной полуплоскости. Этот результат является более общим и не нужен для этого.

Хребет регрессии

L2 = (y-xβ) ^ 2 + λ∑βi ^ 2

Решим это уравнение только для одного β на данный момент, и последнее можно обобщить так:

Итак, (y-xβ) ^ 2 + λβ ^ 2 это наше уравнение для одного β.

Наша цель состоит в том, чтобы минимизировать приведенное выше уравнение, чтобы иметь возможность сделать это, приравнять его к нулю и принимать производные по β

Y ^ 2- 2xyβ + x ^ 2 β ^ 2 + λβ ^ 2 = 0 ------- Использование (ab) ^ 2

Частичные производные по отношению к

-2xy + 2x ^ 2β + 2βλ = 0

2β (x ^ 2 + λ) = 2xy

β = 2xy / 2 (x ^ 2 + λ)

в заключение

β = xy / (x ^ 2 + λ)

Если вы наблюдаете знаменатель, он никогда не станет нулевым, так как мы добавляем некоторое значение λ (то есть гиперпараметр). И, следовательно, значение β будет как можно ниже, но не станет равным нулю.

LASSO регрессия:

L1 = (y-xβ) ^ 2 + λ∑ | β |

Решим это уравнение только для одного β на данный момент, и последнее вы можете обобщить на большее β:

Итак, (y-xβ) ^ 2 + λβ это наше уравнение для одного β, Здесь я рассмотрел + ve значение β.

Наша цель состоит в том, чтобы минимизировать приведенное выше уравнение, чтобы иметь возможность сделать это, приравнять его к нулю и принимать производные по β

Y ^ 2- 2xyβ + x ^ 2 β ^ 2 + λβ = 0 ------- Использование (ab) ^ 2

Частичные производные по отношению к

-2xy + 2x ^ 2β + λ = 0

2x ^ 2β + λ = 2xy

2x ^ 2β = 2х-λ

в заключение

β = (2xy-λ) / (2X ^ 2)

Если вы наблюдаете числитель, он станет нулевым, так как мы вычитаем некоторое значение λ (то есть гиперпараметр). И поэтому значение β будет установлено равным нулю.