Выбор диапазона и плотности сетки для параметра регуляризации в LASSO

Тем временем я изучаю LASSO (оператор наименьшей абсолютной усадки и выбора). Я вижу, что оптимальное значение параметра регуляризации можно выбрать перекрестной проверкой. Я также вижу в регрессии гребня и во многих методах, которые применяют регуляризацию, мы можем использовать CV, чтобы найти оптимальный параметр регуляризации (скажем, штраф). Теперь мой вопрос о начальных значениях верхней и нижней границы параметра и о том, как определить длину последовательности.

Если быть точным, предположим, что у нас есть проблема и мы хотим найти оптимальное значение для штрафа, . Тогда как мы можем выбрать нижнюю и верхнюю границу для ? и сколько делится между этими двумя значениями ?

$$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$$ $\lambda$$\lambda \in [a=?,b=?]$$\frac{(b-a)}{k=?}$

Эта методология описана в статье о путях регуляризации glmnet для обобщенных линейных моделей с помощью координатного спуска . Хотя здесь используется методология для общего случая регуляризации как и , она также должна применяться к LASSO (только ).$L^1$$L^2$$L^1$

Решение для максимума приведено в разделе 2.5. $\lambda$

Когда , мы видим из (5), что останется нулевым, если . Следовательно,$\tilde\beta = 0$$\tilde\beta_j$$\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$$N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

То есть мы наблюдаем, что правило обновления для бета приводит к обнулению всех оценок параметров для как определено выше.$\lambda > \lambda_{max}$

Определение и количества точек сетки кажется менее принципиальным. В glmnet они устанавливают , а затем выбирают сетку из одинаково расположенных точек в логарифмическом масштабе.$\lambda_{min}$$\lambda_{min} = 0.001 * \lambda_{max}$$100$

Это хорошо работает на практике, при моем широком использовании glmnet я никогда не находил эту сетку слишком грубой.

В случае LASSO ( ) все работает лучше, так как метод LARS обеспечивает точное вычисление того, когда различные предикторы входят в модель. Истинный LARS не выполняет поиск в сетке по , вместо этого производит точное выражение для путей решения для коэффициентов. Вот подробный взгляд на точное вычисление путей коэффициентов в случае двух предикторов.$L^1$$\lambda$

Случай для нелинейных моделей (т. Е. Логистических, пуассоновских) более сложен. На высоком уровне сначала получается квадратичное приближение к функции потерь при начальных параметрах , а затем для определения используется приведенный выше расчет . Точное вычисление путей параметров в этих случаях невозможно, даже если обеспечивается только регуляризация , поэтому поиск по сетке является единственным вариантом.$\beta = 0$$\lambda_{max}$$L^1$

Выборочные веса также усложняют ситуацию, внутренние продукты должны быть заменены в соответствующих местах на взвешенные внутренние продукты.