Я применил некоторые данные, чтобы найти лучшее решение переменных регрессионной модели с использованием регрессии гребня в R. Я использовал lm.ridgeи glmnet(когда alpha=0), но результаты сильно отличаются, особенно когда lambda=0. Предполагается, что оба оценщика параметров имеют одинаковые...
Я использую регрессионную модель с Лассо и Риджем (для прогнозирования дискретной переменной результата в диапазоне от 0 до 5). Перед запуском модели я использую SelectKBestметод, scikit-learnчтобы уменьшить набор функций с 250 до 25 . Без первоначального выбора признаков и Лассо, и Ридж уступают...
По ссылкам Книга 1 , Книга 2 и бумага . Было упомянуто, что существует эквивалентность между регуляризованной регрессией (Ridge, LASSO и Elastic Net) и их формулами ограничения. Я также посмотрел на Cross Validated 1 и Cross Validated 2 , но я не вижу четкого ответа, демонстрирующего эту...
Пусть A будет матрицей независимых переменных n × pN×пn \times p а B будет соответствующей матрицей зависимых значений . В конька регрессии, определим параметр так , что: . Теперь давайте [usv] = svd (A) и диагональная запись 's'. мы определяем степени свободы (df) = . Ридж-регрессия сжимает...
Я понимаю, что мы можем использовать регуляризацию в задаче регрессии наименьших квадратов как w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2...
Как выполнить неотрицательную ребристую регрессию? Доступно неотрицательное лассо scikit-learn, но для риджа я не могу навязать неотрицательность бета-версий, и действительно, я получаю отрицательные коэффициенты. Кто-нибудь знает, почему это? Кроме того, могу ли я реализовать ребро с точки зрения...
В нескольких ответах, которые я видел, пользователи CrossValidated предлагают OP найти ранние статьи о Lasso, Ridge и Elastic Net. Для потомков, каковы основополагающие работы в Lasso, Ridge и Elastic Net?...
Я читал описание регрессии гребня в Прикладных линейных статистических моделях , 5-е издание, глава 11. Регрессия гребня выполняется на основе данных о жировых отложениях, доступных здесь . Учебник соответствует выходным данным в SAS, где обратные преобразованные коэффициенты заданы в модели как:...
Я работаю над перекрестной проверкой прогноза моих данных с 200 субъектами и 1000 переменных. Меня интересует регрессия гребня, поскольку число переменных (которые я хочу использовать) больше, чем количество выборок. Поэтому я хочу использовать оценки усадки. Ниже приведены примеры данных: #random...
Я работаю над моделью прогнозируемой стоимости, в которой возраст пациента (целое число, измеренное в годах) является одной из переменных предиктора. Сильная нелинейная связь между возрастом и риском пребывания в больнице очевидна: Я рассматриваю сглаженный сплайн сглаживания регрессии для возраста...
Когда Y= Хβ+ еYзнак равноИксβ+еy = X\beta + e , задача наименьших квадратов, которая накладывает сферическое ограничение на значение может быть записана как для переопределенной системы. \ | \ cdot \ | _2 - евклидова норма вектора.δδ\deltaββ\betaмин ∥ у- Хβ∥22с . т . ∥ β∥22≤ δ2мин | |Y-Иксβ|...
Я знаю, что общепринятой практикой является стандартизация функций для регрессии гребня и лассо, однако, будет ли когда-либо более практичным нормализовать функции по шкале (0,1) в качестве альтернативы стандартизации z-показателя для этих методов регрессии?...
Я новичок в Ридж регрессии. Когда я применил линейную регрессию гребня, я получил следующие результаты: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value...