Каков типичный диапазон возможных значений параметра усадки в штрафной регрессии?

16

В регрессии лассо или гребня необходимо указать параметр сжатия, часто называемый или . Это значение часто выбирается путем перекрестной проверки путем проверки множества различных значений на обучающих данных и определения того, какое из них дает наилучший результат, например, на тестовых данных. Какой диапазон значений следует проверить? Это ?λαр2(0,1)

rhombidodecahedron
источник

Ответы:

5

Вам не нужно беспокоиться. В большинстве пакетов (например, glmnet), если вы не укажете , программный пакет генерирует свою собственную последовательность (что часто рекомендуется). Причина, по которой я подчеркиваю этот ответ, заключается в том, что во время работы LASSO решатель генерирует последовательность λ , поэтому, хотя он может быть нелогичным, предоставление единственного значения λ может на самом деле значительно замедлить решатель (когда вы предоставляете точный параметр, решатель прибегает к решение полуопределенной программы, которая может быть медленной для достаточно «простых» случаев.)λλλ

λ[0,[λ

Sid
источник
4
Привет, Сид, ОП, кажется, знает о факте, который ты упоминаешь в своем посте. Это также, кажется, не отвечает на вопрос. :-)
кардинал