Стандартизация до Лассо действительно необходима?

Я прочитал три основные причины стандартизации переменных, прежде чем что-то вроде Lassoрегрессии:

1) Интерпретируемость коэффициентов.

2) Возможность ранжировать важность коэффициента по относительной величине оценок коэффициента после усадки.

3) Нет необходимости перехватывать.

Но меня интересует самый важный момент. Есть ли у нас основания полагать, что стандартизация улучшит обобщение модели вне выборки? Также мне все равно, если мне не нужен перехват в моей модели; добавление одного не повредит мне.

normalization lasso standardization regularization shrinkage Jase
источник

Пояснение: вы, кажется, хотите спросить: «При условии, что стандартизация является необязательной (один из особых случаев, когда результаты не искажаются на разные величины), тогда стандартизация улучшит обобщение вне выборки?» Это верно?

Drew75

@ Drew75 Я предпочитаю разбивку дел, например, помогает ли это, когда результаты «искажены на разные величины», помогает ли это, когда результаты не искажены, и так далее, лучший ответ будет охватывать разные ситуации.

Джейс

Тогда ваш вопрос не о лассо (потому что в целом стандартизация необходима перед лассо). Это более общее. Возможно, изменить название и первое предложение вопроса.

Drew75

@Drew: Это скорее вопрос: почему это необходимо (когда это не так?)? Что значит искажать результаты (по сравнению с чем?)? Я думаю, что вопрос в порядке, как он есть.

Scortchi - Восстановить Монику

@ Drew75 Мой вопрос о Лассо.

Джейс

Ответы:

Регресс Лассо накладывает ограничения на размер коэффициентов, связанных с каждой переменной. Однако это значение будет зависеть от величины каждой переменной. Поэтому необходимо центрировать и уменьшать или стандартизировать переменные.

Результат центрирования переменных означает, что перехвата больше нет. Кстати, это относится и к регрессии гребня.

Еще одним хорошим объяснением является этот пост: необходимость центрирования и стандартизации данных в регрессии

Drew75
источник

Это либо не ответ, либо крайне косвенный ответ на мой вопрос. Пожалуйста, объясните связь между вашим ответом и обобщением вне примера (вопрос был).

Джейс

@Jase: он решает основную причину стандартизации, которую вы пропустили из своего списка: если вы хотите отбросить предикторы с небольшими коэффициентами (или иначе использовать штрафной член в зависимости от величины коэффициента), вам нужно решить, что считать «маленьким» ». Хотя стандартизация не является обязательной до LASSO или других штрафных методов регрессии, редко бывает так, что оригинальные шкалы, в которых измеряются предикторы, полезны для этой цели.

Scortchi - Восстановить Монику

И смысл центрирования в том, что вы обычно не хотите отбрасывать или сокращать перехват.

Scortchi - Восстановить Монику

λ

$\lambda$

В общем, то, насколько вы сократитесь в целом , повлияет на обобщение до случайных отсроченных выборок; несколько произвольное решение о том, насколько уменьшить каждый предиктор относительно других, повлияет на обобщение для новых выборок из аналогичных групп населения, где коэффициенты немного отличаются, где распределение предикторов не обязательно очень похоже на распределение в обучающем наборе и т. д. (Конечно, ваш вопрос заслуживает более продуманного ответа.)

Scortchi - Восстановите Монику

Параметр штрафа L1 является суммой абсолютных бета-членов. Если все переменные имеют разную размерность, то этот термин действительно не аддитивен, хотя математически нет никакой ошибки.

Однако я не вижу фиктивных / категориальных переменных, страдающих от этой проблемы, и думаю, что их не нужно стандартизировать. их стандартизация может просто уменьшить интерпретируемость переменных

Сумит Дхар
источник