Я знаю, что линейная регрессия может рассматриваться как «линия, которая расположена ближе всего ко всем точкам» :
Но есть и другой способ увидеть это, визуализируя пространство столбцов как «проекцию на пространство, охватываемое столбцами матрицы коэффициентов» :
Мой вопрос: в этих двух интерпретациях, что происходит, когда мы используем штрафованную линейную регрессию, такую как регрессия гребня и LASSO ? Что происходит со строкой в первой интерпретации? А что происходит с проекцией во второй интерпретации?
ОБНОВЛЕНИЕ: @JohnSmith в комментариях поднял тот факт, что штраф происходит в пространстве коэффициентов. Есть ли толкование и в этом пространстве?
regression
intuition
geometry
Лукас Рейс
источник
источник
Ответы:
Извините за мои навыки рисования, я постараюсь дать вам следующую интуицию.
Пусть будет целевой функцией (например, MSE в случае регрессии). Давайте представим контурный контур этой функции красным цветом (разумеется, мы рисуем ее в пространстве , здесь для простоты и ).f(β) β β1 β2
В середине красных кружков есть минимум этой функции. И этот минимум дает нам не наказуемое решение.
Теперь добавим другую цель контур которой показан синим цветом. Либо регуляризатор LASSO, либо регуляризатор ребристой регрессии. Для LASSO , для регрессии гребня ( - штраф параметр). Графики контура показывают область, в которой функция имеет фиксированные значения. Таким образом, чем больше - тем быстрее рост , и тем более «узким» будет контурный график.g(β) g(β)=λ(|β1|+|β2|) g(β)=λ(β21+β22) λ λ g(x)
Теперь мы должны найти минимум суммы этих двух целей: . И это достигается, когда два контурных участка встречаются друг с другом.f(β)+g(β)
Чем больше штраф, тем «более узкие» синие контуры мы получаем, и тогда графики встречаются друг с другом в точке ближе к нулю. Наоборот, чем меньше штраф, тем больше расширяются контуры, и пересечение синих и красных графиков приближается к центру красного круга (решение без штрафа).
А теперь следует интересная вещь, которая сильно объясняет мне разницу между регрессией гребня и LASSO: в случае LASSO два контурных графика, вероятно, встретятся там, где угол регуляризатора равен ( или ). В случае регрессии гребня это почти никогда не происходит.β1=0 β2=0
Вот почему LASSO дает нам разреженное решение, делая некоторые параметры точно равными .0
Надеюсь, что это объяснит некоторую интуицию о том, как штрафная регрессия работает в пространстве параметров.
источник
У меня есть следующая интуиция: в случае наименьших квадратов матрица шляпы является ортогональной проекцией, т.е. идемпотентной. В оштрафованном случае шляпная матрица больше не идемпотентна. На самом деле, применяя его бесконечно много раз, вы сократите коэффициенты до начала координат. С другой стороны, коэффициенты все еще должны лежать в пределах предикторов, поэтому это все еще проекция, хотя и не ортогональная. Величина штрафного фактора и тип нормы определяют расстояние и направление усадки в направлении начала координат.
источник