Что такое лассо в регрессионном анализе?

Я ищу нетехническое определение лассо и для чего оно используется.

LASSO (оператор наименьшей абсолютной усадки и выбора) - это метод регрессии, который предусматривает штрафование абсолютного размера коэффициентов регрессии.

Наказывая (или эквивалентно ограничивая сумму абсолютных значений оценок), вы попадаете в ситуацию, когда некоторые оценки параметров могут быть точно равны нулю. Чем больше примененное наказание, тем ниже оценки сокращаются до нуля.

Это удобно, когда нам нужен автоматический выбор объекта / переменной, или когда мы имеем дело с сильно коррелированными предикторами, где стандартная регрессия обычно имеет слишком большие коэффициенты регрессии.

https://web.stanford.edu/~hastie/ElemStatLearn/ (бесплатная загрузка) содержит подробное описание LASSO и связанных с ним методов.

Регрессия LASSO - это тип регрессионного анализа, в котором выбор переменных и регулирование происходят одновременно. Этот метод использует штраф, который влияет на их значение коэффициентов регрессии. По мере увеличения штрафа большее количество коэффициентов становится равным нулю, и наоборот. Он использует технику нормализации L1, в которой параметр настройки используется в качестве величины усадки. При увеличении параметра настройки смещение увеличивается, а если уменьшается, дисперсия увеличивается. Если она постоянна, то никакие коэффициенты не равны нулю и, как правило, стремятся к бесконечности, тогда все коэффициенты будут нулевыми

В «нормальной» регрессии (OLS) цель состоит в том, чтобы минимизировать остаточную сумму квадратов (RSS) для оценки коэффициентов

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

В случае регрессии LASSO вы оцениваете коэффициенты с немного другим подходом:

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

$\lambda$$\lambda$

$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$чем больше штраф применяется к коэффициентам, и чем меньше будут коэффициенты, то некоторые могут стать равными нулю. Это означает, что LASSO может привести к экономным моделям путем выбора функции, и это предотвращает переоснащение модели. Тем не менее, вы можете использовать LASSO, если у вас много функций, и ваша цель - скорее прогнозировать данные, чем интерпретировать коэффициенты вашей модели.