Почему «расслабленное лассо» отличается от стандартного лассо?

16

Если мы начнем с набора данных , применим к нему Лассо и получим решение , мы можем снова применить Лассо к набору данных , где - это набор ноль индексов , чтобы получить решение, , называемое «расслабленным решением LASSO» (поправьте меня, если я ошибаюсь!). Решение должно удовлетворять условиям Каруша-Куна-Такера (KKT) для но, учитывая вид условий для , не удовлетворяет ли оно им? Если да, то какой смысл делать LASSO во второй раз?β L ( X S , Y ) S β L β R L β L(Икс,Y)βL(ИксS,Y)SβLβрLβL( X S , Y )(Икс,Y)(ИксS,Y)

Этот вопрос является продолжением: Преимущества двойного лассо или двойного лассо?

кока
источник

Ответы:

10

Из определения 1 Meinshausen (2007) , есть два параметра, управляющих решением расслабленного лассо.

Первый, , контролирует выбор переменной, тогда как второй, ϕ , контролирует уровень усадки. Когда ϕ = 1, и лассо, и релаксированный-лассо одинаковы (как вы сказали!), Но для ϕ < 1 вы получите решение с коэффициентами, более близкими к тому, что дало бы ортогональную проекцию на выбранные переменные (разновидность мягкого смещения) ).λφφзнак равно1φ<1

Эта формулировка фактически соответствует решению двух задач:

  1. Сначала полный лассо с параметром штрафования λ
  2. ИксSИксλφ
Тонио Боннеф
источник