Поэтому мне был задан вопрос, по каким оценкам центральные меры L1 (т.е. лассо) и L2 (т.е. регрессия гребня). Ответ L1 = медиана и L2 = среднее. Есть ли интуитивные рассуждения об этом? Или это должно быть определено алгебраически? Если да, то как мне это...
Некоторые штрафные функции и аппроксимации хорошо изучены, такие как LASSO ( L1L1L_1 ) и Ридж ( L2L2L_2 ) и их сравнение в регрессии. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Вэньцзян [ 1 ] сравнил штраф Бриджа, когда с LASSO, но я не смог найти сравнение с...
Предположим, я пытаюсь оценить большое количество параметров по многомерным данным, используя некие регуляризованные оценки. Регуляризатор вносит некоторую погрешность в оценки, но это все же может быть хорошим компромиссом, потому что уменьшение дисперсии должно более чем компенсировать это....
Для линейной модели y=β0+xβ+εYзнак равноβ0+Иксβ+εy=\beta_0+x\beta+\varepsilon сжимающий член всегда равен P(β)п(β)P(\beta) . В чем причина того, что мы не уменьшаем смещение (перехват) члена β0β0\beta_0 ? Должны ли мы сократить срок смещения в моделях нейронных...
Рассмотрим стандартную модель множественной регрессии где , так что нормальность, гомоскедастичность и некоррелированность ошибок сохраняются.Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2яN)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Предположим, что мы выполняем регрессию гребня,...
Рассмотрим регрессию гребня с дополнительным ограничением, требующим, чтобы имел единичную сумму квадратов (эквивалентно, единичную дисперсию); при необходимости можно предположить, что имеет единичную сумму квадратов:y^y^\hat{\mathbf y}yy\mathbf y...
Я использую пакет R, оштрафованный для получения сокращенных оценок коэффициентов для набора данных, где у меня много предикторов и мало известно о том, какие из них важны. После того, как я выбрал параметры настройки L1 и L2 и доволен своими коэффициентами, есть ли статистически обоснованный...
Я понял, как регрессия гребня сжимает коэффициенты геометрически к нулю. Более того, я знаю, как доказать это в специальном «ортонормированном случае», но я не совсем понимаю, как это работает в общем случае с помощью «спектральной...
Я помню, что где-то в Интернете читал связь между регрессией гребня (с регуляризацией ) и регрессией PCA: при использовании регрессии с с гиперпараметром , если , то регрессия эквивалентна удалению ПК переменная с наименьшим собственным значением.ℓ2ℓ2\ell_2 А , А , → 0ℓ2ℓ2\ell_2λλ\lambdaλ...
Вопрос « Что делать из этого лассо-графика (glmnet)» демонстрирует пути решения для оценки лассо, которые не являются монотонными. То есть некоторые коэффициенты растут по абсолютной величине, а затем сокращаются. Я применил эти модели к нескольким видам наборов данных и никогда не видел такого...
В чем разница между Первичной , Двойственной и Ядровой Регрессией? Люди используют все три, и из-за разных обозначений, которые все используют в разных источниках, мне трудно следовать. Так может кто-нибудь сказать мне простыми словами, в чем разница между этими тремя? Кроме того, в чем могут быть...
Во время эксперимента по классификации текста я обнаружил, что классификатор гребней генерирует результаты, которые постоянно превосходят тесты среди тех классификаторов, которые чаще упоминаются и применяются для задач интеллектуального анализа текста, таких как SVM, NB, kNN и т. Д. Хотя я не...
Я знаю о преимуществах регуляризации при построении прогностических моделей (смещение против дисперсии, предотвращение переоснащения). Но мне интересно, будет ли хорошей идеей также выполнять регуляризацию (лассо, гребень, упругая сеть), когда основной целью регрессионной модели является вывод на...
Я использую гребень регрессии на сильно мультиколлинеарных данных. Используя OLS, я получаю большие стандартные ошибки по коэффициентам из-за мультиколлинеарности. Я знаю, что регрессия гребня является способом решения этой проблемы, но во всех реализациях регрессии гребня, на которые я смотрел,...
Говорят, что штрафованные регрессионные оценки, такие как LASSO и ridge, соответствуют байесовским оценкам с определенными априорными значениями. Я предполагаю (поскольку я не знаю достаточно о байесовской статистике), что для фиксированного параметра настройки существует конкретный соответствующий...
У меня есть набор из 150 функций, и многие из них тесно связаны друг с другом. Моя цель - предсказать значение дискретной переменной, диапазон которой составляет 1-8 . Мой размер выборки 550 , и я использую 10-кратную перекрестную проверку. AFAIK, среди методов регуляризации (Lasso, ElasticNet и...
Я реализую Ridge Regression в модуле Python / C, и я столкнулся с этой "маленькой" проблемой. Идея заключается в том, что я хочу выбрать эффективные степени свободы, более или менее равномерно распределенные (например, график на странице 65 «Элементы статистического обучения» ), например: где -...
При объяснении регрессии LASSO часто используется диаграмма ромба и круга. Говорят, что поскольку форма ограничения в LASSO представляет собой алмаз, полученное решение наименьших квадратов может касаться угла алмаза, так что оно приводит к усадке некоторой переменной. Однако в регрессии гребня,...
Хребетная регрессия оценивает параметры в линейной модели by где - параметр регуляризации. Хорошо известно, что он часто работает лучше, чем регрессия OLS (с ), когда существует много коррелированных предикторов.у = Х & beta ; & beta ; А , = ( Х ⊤ Х + А , I ) - 1 х ⊤ у , А , А , =...
Рассмотрим стандартную задачу регрессии OLS \newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin} : У меня есть матрицы YY\Y и XX\X и я хочу найти ββ\B чтобы минимизировать L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Решение дается...