Путаница, связанная с эластичной сеткой

Я читал эту статью, связанную с эластичной сеткой. Они говорят, что они используют эластичную сеть, потому что, если мы просто используем Лассо, это имеет тенденцию выбирать только один предиктор среди предикатов, которые сильно коррелируют. Но разве это не то, что мы хотим. Я имею в виду, что это избавляет нас от проблемы мультиколлинеарности, не так ли?

Любые предложения / разъяснения?

Предположим, что два предиктора сильно влияют на ответ, но сильно коррелируют в выборке, из которой вы строите свою модель. Если вы исключите один из модели, он не будет хорошо предсказывать выборки из аналогичных групп населения, в которых предикторы не имеют высокой корреляции.

Если вы хотите повысить точность ваших оценок коэффициентов при наличии мультиколлинеарности, вы должны внести небольшое смещение, компенсируя его большим уменьшением дисперсии. Одним из способов является полное удаление предикторов - с помощью LASSO или, в старые времена, пошаговые методы - что устанавливает их оценки коэффициентов на ноль. Другой способ состоит в том, чтобы сместить все оценки немного - с регрессией гребня или, в старые времена, с регрессом на первых нескольких основных компонентах. Недостатком первого является то, что очень небезопасно, если модель будет использоваться для прогнозирования откликов для шаблонов предикторов, отличных от тех, которые имели место в исходной выборке, так как предикторы, как правило, исключаются только потому, что они мало используются вместе с другими, почти коллинеарны, предикторы, (Не то, чтобы экстраполяция всегда была полностью безопасной.) Эластичная сеть представляет собой смесь двух, как объясняет @ user12436, и стремится сохранить группы коррелированных предикторов в модели.

Но разве это не то, что мы хотим. Я имею в виду, что это избавляет нас от проблемы мультиколлинеарности, не так ли?

Да! и нет. Эластичная сеть представляет собой комбинацию двух методов регуляризации: регуляризации L2 (используется в регрессии гребня) и регуляризации L1 (используется в LASSO).

Лассо создает естественные разреженные модели, то есть большинство переменных коэффициентов будут сокращены до 0 и фактически исключены из модели. Таким образом, наименее значимые переменные сжимаются, прежде чем сжиматься другие, в отличие от гребня, где все переменные сжимаются, в то время как ни одна из них действительно не сжимается до 0.

Эластичная сеть использует линейную комбинацию обоих этих подходов. Конкретный случай, упомянутый Хасти при обсуждении метода, был в случае больших p, малых n. Что означает: данные большого размера с относительно небольшим количеством наблюдений. В этом случае LASSO (как сообщается) будет выбирать только не более n переменных, исключая при этом все остальные, см. Статью Хасти .

Это всегда будет зависеть от фактического набора данных, но вы можете себе представить, что вы не всегда хотите, чтобы верхний предел количества переменных в ваших моделях был равен или меньше, чем количество ваших наблюдений.

Как Lasso, так и Elastic Net являются эффективными методами для выбора переменных или признаков в условиях многомерных данных (гораздо больше переменных, чем у пациентов или образцов; например, 20000 генов и 500 образцов опухолей).

Хасти и другие продемонстрировали, что Elastic Net может выиграть у Лассо, когда данные сильно коррелированы. Лассо может просто выбрать одну из коррелированных переменных, и ему все равно, какая из них выбрана. Это может быть проблемой, когда требуется проверить выбранные переменные в независимом наборе данных. Переменная, выбранная Лассо, может быть не лучшим предиктором среди всех коррелированных переменных. Эластичная сеть решает эту проблему путем усреднения высоко коррелированных переменных.