Зачем использовать оценки Лассо над оценками OLS для Лассо-идентифицированного подмножества переменных?

Для регрессии Лассо предположим что лучшее решение (например, минимальная ошибка тестирования) выбирает функций, так что .

L (β) = (X β - y)^{'} (X β - y) + λ ‖ β ‖_{1},

$L(\beta)=(X\beta-y)'(X\beta-y)+\lambda\|\beta\|_1,$

k

$k$

{\hat{β}}^{l a s s o} = ({\hat{β}}_{1}^{l a s s o}, {\hat{β}}_{2}^{l a s s o}, . . ., {\hat{β}}_{k}^{l a s s o}, 0, . . .0)

$\hat{\beta}^{lasso}=\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso},0,...0\right)$

Мы знаем, что $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ является смещенная оценка $\left(\beta_1,\beta_2,...,\beta_k\right)$ , так почему же мы по-прежнему принимаем $\hat{\beta}^{lasso}$ в качестве окончательного решения вместо более «разумного» $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , где $\hat{\beta}_{1:k}^{new}$ - это оценка LS из частичной модели $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ обозначает столбцы $X$ соответствующие $k$ выбранным объектам).

Вкратце, почему мы используем Лассо как для выбора объектов, так и для оценки параметров, а не только для выбора переменных (и оставляем оценку выбранных объектов в OLS)?

(Кроме того, что означает, что «Лассо может выбрать не более $n$ функций»? $n$ - это размер выборки.)

regression feature-selection lasso regularization yliueagle
источник

Это очень хороший вопрос. Вы пробовали несколько симуляций, чтобы увидеть, насколько отличались бы результаты от стандартного лассо, если бы вы попробовали его по-своему?

Плацидия

Вы поняли цель «усадки» в LASSO?

Майкл М

Идея состоит в том, чтобы уменьшить оценки коэффициента именно потому, что вы выбрали самые большие. Оценки по методу наименьших квадратов больше не являются беспристрастными, когда вы сделали предварительный выбор объектов.

Scortchi - Восстановить Монику

В следующем вопросе вы найдете отличный ответ на вопрос «Какую проблему решают методы усадки?» stats.stackexchange.com/questions/20295/…

DL Dahly,

Чтобы было ясно: не говорить, что @ Scortchi - это неправильно, но это немного серое место при обсуждении выбора функций, и я думаю, что это важный технический момент, который должен быть очень четко разъяснен.

JohnA

Ответы:

Я не верю, что что-то не так с использованием LASSO для выбора переменных, а затем с использованием OLS. Из « Элементы статистического обучения » (стр. 91)

... усадка лассо приводит к тому, что оценки ненулевых коэффициентов смещаются в сторону нуля, и в целом они не согласованы [ Добавлено примечание: это означает, что при увеличении размера выборки оценки коэффициентов не сходятся] . Один из подходов к уменьшению этого смещения состоит в том, чтобы запустить лассо, чтобы идентифицировать набор ненулевых коэффициентов, а затем подогнать неограниченную линейную модель к выбранному набору признаков. Это не всегда возможно, если выбранный набор большой. В качестве альтернативы можно использовать лассо, чтобы выбрать набор ненулевых предикторов, а затем снова применить лассо, но используя только выбранные предикторы из первого шага. Это известно как расслабленное лассо(Meinshausen, 2007). Идея состоит в том, чтобы использовать перекрестную проверку для оценки начального параметра штрафа для лассо, а затем снова для второго параметра штрафа, применяемого к выбранному набору предикторов. Поскольку переменные на втором этапе имеют меньшую «конкуренцию» с шумовыми переменными, перекрестная проверка будет иметь тенденцию выбирать меньшее значение для [штрафной параметр], и, следовательно, их коэффициенты будут уменьшаться меньше, чем в первоначальной оценке. $\lambda$

Другой разумный подход, сходный по духу с расслабленным лассо, состоит в том, чтобы использовать лассо один раз (или несколько раз в тандеме), чтобы идентифицировать группу переменных-предикторов-кандидатов. Затем используйте регрессию лучших подмножеств, чтобы выбрать лучшие предикторные переменные для рассмотрения (см. Также «Элементы статистического обучения»). Чтобы это работало, вам нужно будет уточнить группу предикторов-кандидатов до 35, что не всегда возможно. Вы можете использовать перекрестную проверку или AIC в качестве критерия, чтобы предотвратить переопределение.

Алекс Уильямс
источник

Другая часть моего вопроса: почему «Лассо может выбрать не более n функций»? Если это так, я думаю, что OLS для выбранных функций будет, по крайней мере, «хорошим», поскольку OLS - это «СИНИЙ» (не строго СИНИЙ, поскольку он в основном смещен). Просто примите во внимание крайнюю ситуацию, когда Лассо выбирает точно правильные функции, проведение OLS на этих функциях восстановит истинную модель, которая, я думаю, лучше, чем оценка Лассо.

yliueagle

Проблема в том, что такая «экстремальная ситуация» вряд ли произойдет, и нет способа узнать, правильно ли LASSO выбрала правильные функции. Если LASSO выбирает слишком много функций, то я думаю, что полная модель OLS может работать хуже, чем оценки LASSO. Точно так же регрессия гребня может превзойти OLS, если есть слишком много особенностей (то есть OLS - перегрузка).

Алекс Уильямс

См. Также web.stanford.edu/~hastie/StatLearnSparsity_files/SLS.pdf , конец Раздела 2.2: «[...] соответствие наименьших квадратов подмножеству [...] предикторов имеет тенденцию расширять оценки лассо от нуля. Ненулевые оценки от лассо, как правило, смещены к нулю, поэтому смещение в правой панели часто может улучшить ошибку предсказания модели. Этот двухэтапный процесс также известен как ослабленное лассо (Meinshausen 2007) «.

говорит амеба: восстанови

Я изучил статью Майнсхаузена, и она на самом деле рекомендует установить два параметра штрафа, как описано в вашей первоначальной цитате из «Элементов». +1

амеба говорит восстановить

@AlexWilliams Но разве в предыдущем параграфе нет предположения о корреляции между выбранным набором и тем, что удаляется, будучи небольшим?

Дмитрий Владимирович Мастеров

Если ваша цель - оптимальная производительность в сэмпле (относительно наибольшего R-квадрата), просто используйте OLS для каждой доступной переменной. Отбрасывание переменных уменьшит R-квадрат.

Если вашей целью является хорошая производительность вне выборки (что, как правило, гораздо важнее), то ваша предложенная стратегия будет страдать от двух источников переоснащения:

Выбор переменных на основе корреляции с переменной ответа
Оценки OLS

Цель LASSO - уменьшить оценки параметров до нуля, чтобы бороться с двумя источниками переоснащения. Прогнозы внутри выборки всегда будут хуже, чем у OLS, но есть надежда (в зависимости от силы наказания) получить более реалистичное поведение вне выборки.

Относительно : это (вероятно) зависит от реализации LASSO, которую вы используете. Вариант, Lars (регрессия наименьшего угла), легко работает при . $p > n$ $p > n$

Майкл М
источник

«Leekasso» (всегда выбирайте 10 коэффициентов) отличается от предложения вопроса (переоцените OLS с k предикторами, выбранными LASSO)

Affine

@affine, ты совершенно прав. Я удалил ссылку.

Майкл М

Это звучит разумно, но изобретатели Лассо утверждают иначе и на самом деле рекомендуют использовать двухэтапную процедуру с OLS на Лассо-идентифицированном подмножестве (как предложено ФП), см. Ответ @ Alex'es.

говорит амеба, восстанови Монику

Мне нравится этот ответ, потому что он упоминает смещение выбора из самого поиска; он уверен, что должно быть дополнительное наказание. LASSO как простой механизм выбора подмножества - это все? Тогда зачем вообще печатать его коэффициенты?

Бен Огорек

Что касается ОП, то почему Лассо может выбрать не более n функций:

$X^{T}X$ $\beta = (X^{T} X)^{-1}X^{T}Y$

$X^{T}X$

jmp111
источник

(X^{T} X)^{- 1}

$(X^TX)^{-1}$