GLMNET или LARS для вычисления решений LASSO?

Я хотел бы получить коэффициенты для задачи LASSO

Проблема в том, что функции glmnet и lars дают разные ответы. Для функции glmnet я спрашиваю коэффициенты вместо просто λ , но я все еще получаю разные ответы.$\lambda/||Y||$$\lambda$

Это ожидается? Какова связь между ларами и glmnet λ ? Я понимаю, что glmnet быстрее для проблем LASSO, но я хотел бы знать, какой метод является более мощным?$\lambda$$\lambda$

deps_stats Я боюсь, что размер моего набора данных настолько велик, что LARS не может с ним справиться, тогда как glmnet может обрабатывать мой большой набор данных.

mpiktas Я хочу найти решение (Y-Xb) ^ 2 + L \ sum | b_j | но когда я спрашиваю у двух алгоритмов (lars & glmnet) их рассчитанные коэффициенты для этого конкретного L, я получаю разные ответы ... и мне интересно, правильно ли это / ожидаемо? или я просто использую неправильную лямбду для двух функций.

По моему опыту, LARS быстрее для небольших проблем, очень редких проблем или очень «широких» проблем (гораздо больше функций, чем образцов). Действительно, его вычислительная стоимость ограничена количеством выбранных функций, если вы не вычислите полный путь регуляризации. С другой стороны, для больших задач glmnet (оптимизация спуска координат) работает быстрее. Среди прочего, у координатного спуска есть хороший шаблон доступа к данным (дружественный памяти), и он может выиграть от избыточности данных в очень больших наборах данных, так как он сходится с частичным совпадением. В частности, он не страдает от сильно коррелированных наборов данных.

Мы пришли к выводу, что мы (основные разработчики scikit-learn ) пришли к следующему выводу: если у вас нет априорных знаний о ваших данных, вам лучше использовать glmnet (или координировать оптимизацию спуска, чтобы скорее говорить об алгоритме) чем реализация).

Интересные ориентиры можно сравнить в диссертации Жюльена Майрала:

http://www.di.ens.fr/~mairal/resources/pdf/phd_thesis.pdf

Раздел 1.4, в частности 1.4.5 (стр. 22)

Жюльен приходит к несколько иным выводам, хотя его анализ проблемы схож. Я подозреваю, что это потому, что его очень интересовали очень широкие проблемы.

LASSO не является уникальным в том случае, когда несколько элементов имеют идеальную коллинеарность. Вот простой мысленный эксперимент, чтобы доказать это.

$y$$x_1$$x_2$$y$$x_1$$x_2$$y$$x1$$x2$$\beta_1 = 1 - P$$\beta_2 = 0$$P$$\beta_1 = 0$$\beta_2 - 1 - P$

Ларс и Glmnet предлагают разные решения для проблемы Лассо, так как они используют несколько разные целевые функции и разные стандартизации данных. Вы можете найти подробный код для воспроизведения в соответствующем вопросе. Почему Lars и Glmnet предлагают разные решения для проблемы Лассо?