Я знаю о регуляризации типа LASSO, гребня и эластичной сетки в моделях линейной регрессии. Вопрос: Можно ли применить этот (или аналогичный) вид штрафных оценок к моделированию ARIMA (с непустой частью MA)? При построении моделей ARIMA кажется обычным рассмотреть предварительно выбранный...
Существуют ли аналитические результаты или экспериментальные работы относительно оптимального выбора коэффициента штрафного члена . Под оптимальным я подразумеваю параметр, который максимизирует вероятность выбора наилучшей модели или минимизирует ожидаемые потери. Я спрашиваю, потому что часто...
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто 3 года назад . Я строю логистическую регрессию в R, используя метод LASSO с функциями cv.glmnetдля выбора lambdaи...
Я прочитал самые популярные книги в области статистического обучения 1- Элементы статистического обучения. 2- Введение в статистическое обучение . Оба упоминают, что у регрессии гребня есть две формулы, которые эквивалентны. Есть ли понятное математическое доказательство этого результата? Я также...
Я пытаюсь понять, следует ли использовать регрессию гребня , LASSO , регрессию главных компонентов (PCR) или частичные наименьшие квадраты (PLS) в ситуации, когда имеется большое количество переменных / признаков ( ) и меньшее количество выборок ( ) и моя цель - прогноз.ппpп < рN<пn nр >...
Я новичок в glmnetпакете, и я все еще не уверен, как интерпретировать результаты. Может ли кто-нибудь помочь мне прочитать следующий сюжет трассировки? График был получен путем запуска следующего: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data...
Мое общее понимание состоит в том, что AIC имеет дело с компромиссом между добротностью соответствия модели и сложностью модели. А яС= 2 k - 2 l n ( L )AяСзнак равно2К-2LN(L)AIC =2k -2ln(L) = количество параметров в моделиККk = вероятностьLLL Байесовский информационный критерий BIC тесно связан с...
Я хотел бы создать случайный лес, используя следующий процесс: Построить дерево на случайных выборках данных и объектов, используя прирост информации для определения разбиений Завершить листовой узел, если он превышает предопределенную глубину, ИЛИ любое разделение приведет к тому, что число...
β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=argminβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n Мы знаем,...
Какова асимптотическая временная сложность регрессии Лассо по мере роста числа строк или
Я читаю о выборе лучшего подмножества в книге «Элементы статистического обучения». Если у меня есть 3 предиктора x1,x2,x3x1,x2,x3x_1,x_2,x_3 , я создаю подмножеств:23=823=82^3=8 Подмножество без предикторов подмножество с предикторомx1x1x_1 подмножество с предикторомx2x2x_2 подмножество с...
Я прочитал, что группа Лассо используется для выбора переменных и разреженности в группе переменных. Я хочу знать интуицию, стоящую за этим утверждением. Почему группа лассо предпочтительнее лассо? Почему путь решения группы Лассо не является кусочно-линейным?...
Я ищу какой-нибудь открытый исходный код или существующую библиотеку, которую я могу использовать. Насколько я знаю, пакет glmnet не очень легко расширяется, чтобы охватить неотрицательный случай. Я могу ошибаться, Любой, у кого есть идеи, высоко ценится. Под неотрицательным я подразумеваю, что все...
Одним из мотивов для эластичной сетки было следующее ограничение LASSO: В случае p>np>np > n лассо выбирает не более n переменных, прежде чем оно насыщается, из-за характера задачи выпуклой оптимизации. Кажется, это ограничивающая особенность метода выбора переменных. Более того, лассо не...
Я использую пакет 'lars' в R со следующим кодом: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Есть несколько математических работ, описывающих байесовское лассо, но я хочу протестировать правильный код JAGS, который я могу использовать. Может ли кто-нибудь опубликовать пример кода BUGS / JAGS, который реализует регуляризованную логистическую регрессию? Любая схема (L1, L2, Elasticnet) была...
Таблица 18.1 в Элементах статистического обучения суммирует эффективность нескольких классификаторов в наборе данных 14 классов. Я сравниваю новый алгоритм с лассо и эластичной сеткой для таких задач мультиклассовой классификации. Используя glmnetверсию 1.5.3 (R 2.13.0), я не могу воспроизвести...
Я хотел бы получить коэффициенты для задачи LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема в том, что функции glmnet и lars дают разные ответы. Для функции glmnet я спрашиваю коэффициенты вместо просто λ , но я все еще получаю разные...
Каковы плюсы и минусы использования LARS [1] по сравнению с использованием координатного спуска для подбора L1-регуляризованной линейной регрессии? Я в основном заинтересован в аспектах производительности (мои проблемы, как правило, Nисчисляются сотнями тысяч и p<20). Однако, любые другие идеи...
\newcommand{\diag}{\operatorname{diag}} У нас проблема: при условии, что: \ sum_ {я = 1} ^ nx_ix_i ^ T = \ диаг (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle...