LASSO отношения между

10

Мое понимание регрессии LASSO заключается в том, что коэффициенты регрессии выбираются для решения проблемы минимизации:

minβyXβ22 s.t.β1t

На практике это делается с использованием множителя Лагранжа, что позволяет решить проблему

minβyXβ22+λβ1

Какая связь между λ и t ? Википедия бесполезно просто заявляет, что «зависит от данных».

Почему меня это волнует? Во-первых, для интеллектуального любопытства. Но меня также беспокоят последствия выбора λ путем перекрестной проверки.

В частности, если я выполняю n-кратную перекрестную проверку, я подгоняю n разных моделей к n разным разделам моих тренировочных данных. Затем я сравниваю точность каждой из моделей по неиспользованным данным для заданной λ . Но одно и то же λ подразумевает другое ограничение ( t ) для разных подмножеств данных (т. Е. t=f(λ) "зависит от данных").

Разве это не проблема перекрестной проверки, которую я действительно хочу решить, чтобы найти t который дает лучший компромисс точности смещения?

Я могу получить приблизительное представление о размере этого эффекта на практике, рассчитав для каждого разделения перекрестной проверки и и посмотрев полученное распределение. В некоторых случаях подразумеваемое ограничение ( ) может существенно различаться в моих подмножествах перекрестной проверки. Где по существу я имею в виду коэффициент вариации в .β1λtt>>0

ConstantAmateur
источник
5
Проголосование, чтобы отменить необъяснимое понижение. Вопрос находится далеко за пределами моей компетенции, но он кажется разумно сформулированным.
mkt - Восстановить Монику

Ответы:

2

Это стандартное решение для регрессии гребня :

β=(XX+λI)1Xy

Мы также знаем, что , так что должно быть верно, чтоβ=t

(XX+λI)1Xy=t
.

что не легко решить для .λ

Лучше всего просто продолжать делать то, что вы делаете: вычислить на одной и той же подвыборке данных для нескольких значений .tλ

shadowtalker
источник