Вопросы с тегом «ridge-regression»

Метод регуляризации для регрессионных моделей, который сокращает коэффициенты до нуля.

167
Когда я должен использовать лассо против риджа?

Скажем, я хочу оценить большое количество параметров, и я хочу наказать некоторые из них, потому что я считаю, что они должны иметь небольшой эффект по сравнению с другими. Как мне решить, какую схему наказания использовать? Когда регрессия гребня более уместна? Когда я должен использовать...

83
Когда использовать методы регуляризации для регрессии?

При каких обстоятельствах следует рассмотреть использование методов регуляризации (регрессия ребра, лассо или наименьших углов) вместо OLS? В случае, если это поможет вести дискуссию, мой главный интерес - повышение точности...

71
Почему регрессия хребта называется «хребет», зачем она нужна и что происходит, когда уходит в бесконечность?

Оценка коэффициента регрессии хребта - это значения, которые минимизируютβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Мои вопросы: Если , то мы видим, что приведенное выше выражение сводится к обычному RSS. Что делать, если ? Я не понимаю из учебника...

65
Единый взгляд на усадку: какова связь (если таковая имеется) между парадоксом Штейна, регрессией гребня и случайными эффектами в смешанных моделях?

Рассмотрим следующие три явления. Парадокс Штейна: учитывая некоторые данные из многомерного нормального распределения в Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , среднее значение выборки не очень хорошая оценка истинного среднего. Можно получить оценку с меньшей среднеквадратичной ошибкой, если...

61
Какую проблему решают методы усадки?

Курортный сезон дал мне возможность свернуться калачиком рядом с огнем вместе с «Элементами статистического обучения» . Исходя из (часто) точки зрения эконометрики, у меня возникают проблемы с пониманием использования методов усадки, таких как регрессия гребня, лассо и регрессия с наименьшим углом...

59
Почему оценка гребня становится лучше, чем OLS, добавляя константу к диагонали?

Я понимаю, что оценка регрессии гребня является ββ\beta который минимизирует остаточную сумму квадрата и штраф на размер ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[...

55
Почему усадка работает?

Чтобы решить проблемы выбора модели, ряд методов (LASSO, гребневая регрессия и т. Д.) Будут сжимать коэффициенты переменных-предикторов к нулю. Я ищу интуитивное объяснение того, почему это улучшает способность к прогнозированию. Если истинное влияние переменной на самом деле было очень велико,...

41
Как вывести решение о регрессии гребня?

У меня возникли некоторые проблемы с выводом решения для регрессии гребня. Я знаю регрессионное решение без условия регуляризации: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Но после добавления термина L2 к функции стоимости, получается решениеλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2...

37
Если интерес представляет только прогноз, зачем использовать лассо над хребтом?

На странице 223 «Введение в статистическое обучение» авторы суммируют различия между регрессией гребня и лассо. Они предоставляют пример (рис. 6.9) того, когда «лассо имеет тенденцию превосходить регрессию гребня с точки зрения смещения, дисперсии и MSE». Я понимаю, почему лассо может быть...

36
Как оценить параметр усадки в лассо или гребень регрессии с> 50K переменных?

Я хочу использовать регрессию Лассо или Риджа для модели с более чем 50 000 переменных. Я хочу сделать это, используя программный пакет в R. Как я могу оценить параметр усадки ( )?λλ\lambda Редактирование: Вот точка, до которой я добрался: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0),...

36
Когда вложенная перекрестная проверка действительно необходима и может иметь практическое значение?

При использовании перекрестной проверки для выбора модели (такой как, например, настройка гиперпараметра) и для оценки производительности лучшей модели следует использовать вложенную перекрестную проверку . Внешний цикл предназначен для оценки производительности модели, а внутренний цикл - для...

35
Что такое упругая сеточная регуляризация и как она решает недостатки Риджа (

Всегда ли упругая чистая регуляризация всегда предпочтительнее, чем Lasso & Ridge, поскольку она, похоже, решает недостатки этих методов? Что такое интуиция и какая математика стоит за эластичной...

33
Является ли регрессия с регуляризацией L1 такой же, как Лассо, а с регуляризацией L2 такая же, как регрессия гребня? А как написать «Лассо»?

Я - инженер-программист, изучающий машинное обучение, особенно на курсах Эндрю Нг по машинному обучению . Изучая линейную регрессию с регуляризацией , я нашел смущающие термины: Регрессия с регуляризацией L1 или регуляризацией L2 ЛАССО Хребет регрессии Итак, мои вопросы: Является ли регрессия с...

30
Когда регуляризация L1 будет работать лучше, чем L2, и наоборот?

Примечание: я знаю, что у L1 есть свойство выбора функции. Я пытаюсь понять, какой из них выбрать, когда выбор функции совершенно не имеет значения. Как решить, какую регуляризацию (L1 или L2) использовать? Каковы плюсы и минусы каждой регуляризации L1 / L2? Рекомендовано ли вначале делать выбор...

28
Почему регрессия glmnet ridge дает мне другой ответ, чем ручной расчет?

Я использую glmnet для расчета оценок регрессии гребня. Я получил некоторые результаты, которые сделали меня подозрительным в том, что glmnet действительно делает то, что я думаю, что делает. Чтобы проверить это, я написал простой R-скрипт, в котором я сравниваю результат регрессии гребня,...

25
Интерпретация регуляризации гребня в регрессии

У меня есть несколько вопросов, касающихся штрафа за ребро в контексте наименьших квадратов: βR i Dге= ( λ ID+ X'Икс)- 1Икс'Yβряdгезнак равно(λяD+Икс'Икс)-1Икс'Y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Выражение предполагает, что ковариационная матрица X сжимается в сторону диагональной...