Мое понимание регрессии LASSO заключается в том, что коэффициенты регрессии выбираются для решения проблемы минимизации:
На практике это делается с использованием множителя Лагранжа, что позволяет решить проблему
Какая связь между и ? Википедия бесполезно просто заявляет, что «зависит от данных».
Почему меня это волнует? Во-первых, для интеллектуального любопытства. Но меня также беспокоят последствия выбора путем перекрестной проверки.
В частности, если я выполняю n-кратную перекрестную проверку, я подгоняю n разных моделей к n разным разделам моих тренировочных данных. Затем я сравниваю точность каждой из моделей по неиспользованным данным для заданной . Но одно и то же подразумевает другое ограничение ( ) для разных подмножеств данных (т. Е. "зависит от данных").
Разве это не проблема перекрестной проверки, которую я действительно хочу решить, чтобы найти который дает лучший компромисс точности смещения?
Я могу получить приблизительное представление о размере этого эффекта на практике, рассчитав для каждого разделения перекрестной проверки и и посмотрев полученное распределение. В некоторых случаях подразумеваемое ограничение ( ) может существенно различаться в моих подмножествах перекрестной проверки. Где по существу я имею в виду коэффициент вариации в .
источник
Ответы:
Это стандартное решение для регрессии гребня :
Мы также знаем, что , так что должно быть верно, что∥β∥=t
что не легко решить для .λ
Лучше всего просто продолжать делать то, что вы делаете: вычислить на одной и той же подвыборке данных для нескольких значений .t λ
источник