Каковы преимущества ступенчатой ​​регрессии?

11

Я экспериментирую со ступенчатой ​​регрессией ради разнообразия в моем подходе к проблеме. Итак, у меня есть 2 вопроса:

  1. Каковы преимущества ступенчатой ​​регрессии? Каковы его конкретные сильные стороны?

  2. Что вы думаете о гибридном подходе, где вы используете ступенчатую регрессию для выбора объектов, а затем применяете регулярную регрессию, объединяя все выбранные объекты вместе?

Барон югович
источник

Ответы:

15

Основным преимуществом ступенчатой ​​регрессии является ее вычислительная эффективность. Тем не менее, его производительность, как правило, хуже, чем альтернативные методы. Проблема в том, что он слишком жадный. Делая жесткий выбор следующего регрессора и «замораживая» вес, он делает выбор, который является локально оптимальным на каждом этапе, но в целом неоптимальным. И он не может вернуться, чтобы пересмотреть свой прошлый выбор.

Насколько я знаю, ступенчатая регрессия, как правило, не пользуется популярностью по сравнению с l1 регуляризованной регрессией (LASSO), которая, как правило, дает лучшие решения.

Тибширани (1996) . Регрессионная усадка и отбор с помощью лассо

ЛАССО наказывают норму веса, который вызывает разреженность в растворе (много веса в ноль). Выполняется выбор переменных (допустимые переменные могут иметь ненулевые веса). Степень редкости контролируется термином пенальности, и для его выбора должна использоваться некоторая процедура (перекрестная проверка является распространенным выбором). LASSO требует больших вычислительных ресурсов, чем ступенчатая регрессия, но существует ряд эффективных алгоритмов. Некоторыми примерами являются регрессия с наименьшим углом ( LARS ) и подход, основанный на координатном спуске .l1

Подобный подход к тому, что вы предложили в (2), называется поиском ортогонального соответствия. Это обобщение поиска соответствия, которое является названием ступенчатой ​​регрессии в литературе по обработке сигналов.

Пати и соавт. (1993) . Погоня за ортогональным соответствием: приближение рекурсивной функции с приложениями к вейвлет-разложению

На каждой итерации следующий лучший регрессор добавляется в активный набор. Затем весовые коэффициенты для всех регрессоров в активном наборе пересчитываются. Из-за шага повторного взвешивания этот подход является менее жадным (и имеет лучшую производительность), чем регулярное преследование / ступенчатая регрессия. Но он все еще использует жадный эвристический поиск.

Все эти подходы (ступенчатая регрессия, LASSO и преследование по ортогональному соответствию) могут рассматриваться как приближения к следующей проблеме:

minwyXw22s.t. w0c

В контексте регрессии столбцы соответствуют независимым переменным, а - зависимой переменной. При обработке сигналов столбцы соответствуют базисным функциям, а - приближенный сигнал. Цель состоит в том, чтобы найти разреженный набор весов который дает наилучшую (наименьших квадратов) аппроксимацию . норма просто подсчитывает количество ненулевых элементов в . К сожалению, эта проблема является NP-сложной, поэтому на практике должны использоваться алгоритмы аппроксимации. Ступенчатая регрессия и стремление к ортогональному сопоставлению пытаются решить проблему с помощью жадной стратегии поиска. ЛАССО переформулирует проблему, используя расслаблениеXyXywyl0wl0норма норме . Здесь задача оптимизации становится выпуклой (и, следовательно, решаемой). И, хотя проблема больше не идентична, решение аналогично. Если я правильно помню, было доказано, что и LASSO, и стремление к ортогональному согласованию восстанавливают точное решение при определенных условиях.l1

user20160
источник
8

Поэтапный выбор, как правило, не очень хорошая идея. Чтобы понять почему, это может помочь вам прочитать мой ответ здесь: Алгоритмы для автоматического выбора модели .

Что касается преимуществ, то в те дни, когда поиск по всем возможным комбинациям функций был слишком сложным в вычислительном отношении для компьютеров, поэтапный выбор экономил время и был поддающимся обработке. Тем не менее, обратите внимание, что проблемы, обсуждаемые в моем связанном ответе выше, в равной степени относятся к регрессии «наилучшего подмножества», поэтому поэтапно не дает хорошего решения, просто плохое решение быстрее.

Ваше представление о гибридном подходе было бы хорошо, если бы вторая модель (с выбранными функциями) была помещена в новый набор данных .

Gung - Восстановить Монику
источник
Относительно того, что ОП назвало «гибридным подходом» (не совсем уверен, почему он гибридный), вы имеете в виду, что это нормально в том смысле, что оценки коэффициентов модели во вторых новых наборах данных должны быть хорошими (в то время как предвзятые и проблематичные для исходные данные), пока новый набор данных достаточно велик? Это, конечно, потенциально плохая модель, поскольку она была неправильно выбрана в первом наборе данных, просто ее коэффициенты будут оцениваться в менее проблемном наборе данных.
Бьёрн
Кроме того, все еще часто невозможно просмотреть все возможные комбинации, потому что число различных переменных, по которым у нас есть данные, растет даже быстрее, чем вычислительная мощность, и у людей появляется все больше и больше идей о том, что включать в их модели.
Стефан Коласса
Чтение этой ветки по-прежнему не помогает.
Мокс
2

Я только что взял поиск в Google для того, что такое пошаговая регрессия. Я не уверен, что я полностью понимаю это, но вот моя первая мысль

  • Он жадный, поэтому не может дать хорошего решения, как Лассо. Я предпочитаю лассо
  • Это просто, легко использовать, легко кодировать
  • После использования пошаговой регрессии у вас уже есть обученная модель, использующая выбранные функции, поэтому вам не нужно использовать другой шаг регрессии, который вы упомянули как гибридный подход.
Злой Имбецил
источник