Для задачи Лассо такая, что . Я часто вижу результат мягкого определения порога
для ортонормированного случая Утверждается, что решение может быть «легко показано» таким, но я никогда не видел работающего решения. Кто-нибудь видел один или, возможно, сделал вывод?
Ответы:
Это может быть атаковано несколькими способами, включая довольно экономичные подходы в условиях Каруша-Куна-Такера .
Ниже приведен довольно элементарный альтернативный аргумент.
Решение наименьших квадратов для ортогонального дизайна
Предположим, состоит из ортогональных столбцов. Тогда решение для наименьших квадратов - этоX
Некоторые эквивалентные проблемы
Через форму Лагранжа легко увидеть, что проблема, эквивалентная рассматриваемой в вопросе, является
Развернув первое слагаемое, мы получим и, поскольку не содержит никаких из переменных, представляющих интерес, мы можем отказаться от него и рассмотреть еще одну эквивалентную проблему,12yTy−yTXβ+12βTβ yTy
Отметив, что , предыдущая проблема может быть переписана какβ^LS=XTy
Наша целевая функция теперь представляет собой сумму целей, каждая из которых соответствует отдельной переменной , поэтому каждая из них может быть решена индивидуально.βi
Целое равно сумме его частей
Исправить определенный . Затем мы хотим минимизироватьi
Если , то мы должны иметь так как в противном случае мы могли бы перевернуть его знак и получить меньшее значение для целевой функции. Аналогично, если , тогда мы должны выбрать .β^LSi>0 βi≥0 β^LSi<0 βi≤0
Случай 1 : . Начиная с , и дифференцируя это относительно и устанавливая равным нулю , мы получаем и это возможно только в том случае, если правая часть неотрицательна, поэтому в этом случае реальное решение будетβ^LSi>0 βi≥0
Случай 2 : . Это означает, что у нас должно быть и так Различая и устанавливая равным нулю, мы получаем . Но, опять же, чтобы убедиться, что это выполнимо, нам нужен , который достигается путем взятияβ^LSi≤0 βi≤0
В обоих случаях мы получаем желаемую форму, и так мы закончили.
Заключительные замечания
Обратите внимание, что при увеличении каждый изобязательно уменьшается, следовательно, . Когда , мы восстанавливаем решения OLS и для, мы получаем для всех .γ |β^lassoi| ∥β^lasso∥1 γ=0 γ>maxi|β^LSi| β^lassoi=0 i
источник
Предположим , что ковариат , столбцы , также стандартизированы так , что . Позже это просто для удобства: без него нотация становится только более тяжелой, поскольку является только диагональным. Далее предположим, что . Это необходимое предположение для сохранения результата. Определите оценщик наименьших квадратов . Тогда (лагранжева форма) оценки Лассоxj X∈Rn×p XTX=I XTX n≥p β^OLS=argminβ∥y−Xβ∥22
Это вывод, который пропускает подробный вывод проксимального оператора, который разрабатывает Кардинал, но, я надеюсь, проясняет основные шаги, которые делают возможной закрытую форму.
источник