Как соотносятся методы регуляризации риджа, LASSO и эластикета? Каковы их соответствующие преимущества и недостатки? Любая хорошая техническая статья, или примечания лекции были бы оценены также.
33
Как соотносятся методы регуляризации риджа, LASSO и эластикета? Каковы их соответствующие преимущества и недостатки? Любая хорошая техническая статья, или примечания лекции были бы оценены также.
В книге «Элементы статистического обучения» Hastie et al. обеспечить очень глубокое и тщательное сравнение этих методов усадки. Книга доступна онлайн ( pdf ). Сравнение сделано в разделе 3.4.3, стр. 69.
Основное различие между Лассо и Риджем - это штрафной срок, который они используют. Ридж использует штрафной термин который ограничивает размер вектора коэффициентов. Лассо использует штраф который накладывает разреженность между коэффициентами и, таким образом, делает подобранную модель более интерпретируемой. Elasticnet вводится как компромисс между этими двумя методами и имеет штраф, который представляет собой сочетание норм и .
Подводя итог, вот некоторые существенные различия между лассо, хребтом и эластичной сеткой:
источник
Я настоятельно рекомендовал вам взглянуть на Введение в статистическую учебную книгу (Tibshirani et. Al, 2013).
Причина этого в том, что « Элементы статистического обучения» книга предназначена для лиц с повышенным уровнем подготовки в области математических наук. В предисловии к ISL авторы пишут:
источник
Вышеуказанные ответы очень понятны и информативны. Я хотел бы добавить один незначительный момент с точки зрения статистики. Возьмите регрессию гребня в качестве примера. Это расширение порядковой регрессии наименьших квадратов для решения проблем мультиколлинеарности, когда имеется много взаимосвязанных признаков. Если линейная регрессия
Решение нормального уравнения для множественной линейной регрессии
Решение нормального уравнения для регрессии гребня
Это смещенная оценка для b, и мы всегда можем найти штрафной член k, который сделает среднеквадратичную ошибку регрессии Риджа меньше, чем ошибка регрессии OLS.
Для LASSO и Elastic-Net мы не смогли найти такое аналитическое решение.
источник