Я пытаюсь выполнить регрессию лассо, которая имеет следующую форму: Минимизируйте вwww(Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Учитывая , мне посоветовали найти оптимальное с помощью квадратичного программирования, которое принимает следующую форму:λλ\lambdawww...
Если β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , может ли ∥β∗∥2‖β∗‖2\|\beta^*\|_2 увеличиваться при λλ\lambda увеличивается? Я думаю, что это возможно. Хотя ∥β∗∥1‖β∗‖1\|\beta^*\|_1 не увеличивается при увеличении λλ\lambda...
Я пытаюсь сделать выбор модели для некоторых кандидатов-предикторов, используя LASSO с непрерывным результатом. Цель состоит в том, чтобы выбрать оптимальную модель с наилучшими показателями прогнозирования, что обычно может быть выполнено путем перекрестной проверки в K-кратном порядке после...
По ссылкам Книга 1 , Книга 2 и бумага . Было упомянуто, что существует эквивалентность между регуляризованной регрессией (Ridge, LASSO и Elastic Net) и их формулами ограничения. Я также посмотрел на Cross Validated 1 и Cross Validated 2 , но я не вижу четкого ответа, демонстрирующего эту...
Я использую регрессионную модель с Лассо и Риджем (для прогнозирования дискретной переменной результата в диапазоне от 0 до 5). Перед запуском модели я использую SelectKBestметод, scikit-learnчтобы уменьшить набор функций с 250 до 25 . Без первоначального выбора признаков и Лассо, и Ридж уступают...
Я подгоняю линейную модель в R, используя glmnet. Исходная (не регуляризованная) модель была подогнана с использованием lmи не имела постоянного члена (т.е. она была в форме lm(y~0+x1+x2,data)). glmnetберет матрицу предикторов и вектор ответов. Я читал glmnetдокументацию и не могу найти упоминания...
Я ищу интуитивно понятный ответ, почему модель GLM LASSO выбирает конкретный предиктор из группы сильно коррелированных и почему это делает иначе, чем выбор лучшего подмножества. Исходя из геометрии LASSO, показанной на рис. 2 в Tibshirani 1996, я считаю, что LASSO выбирает предиктор с большей...
Наказанные модели могут использоваться для оценки моделей, в которых количество параметров равно или даже превышает размер выборки. Такая ситуация может возникнуть в лог-линейных моделях больших разреженных таблиц категориальных данных или данных подсчета. В этих настройках часто также желательно...
Я читал эту статью, связанную с эластичной сеткой. Они говорят, что они используют эластичную сеть, потому что, если мы просто используем Лассо, это имеет тенденцию выбирать только один предиктор среди предикатов, которые сильно коррелируют. Но разве это не то, что мы хотим. Я имею в виду, что это...
Я получил три уменьшенные модели из оригинальной полной модели, используя выбор вперед устранение в обратном направлении Техника наказания L1 (LASSO) Для моделей, полученных с использованием прямого выбора / обратного исключения, я получил перекрестную валидацию оценки ошибки прогнозирования,...
Функция R cv.glm (library: boot) вычисляет предполагаемую K-кратную ошибку прогнозирования перекрестной проверки для обобщенных линейных моделей и возвращает дельту. Имеет ли смысл использовать эту функцию для регрессии лассо (library: glmnet) и, если да, то как ее можно выполнить? Библиотека...
Как выполнить неотрицательную ребристую регрессию? Доступно неотрицательное лассо scikit-learn, но для риджа я не могу навязать неотрицательность бета-версий, и действительно, я получаю отрицательные коэффициенты. Кто-нибудь знает, почему это? Кроме того, могу ли я реализовать ребро с точки зрения...
В моем классе машинного обучения мы узнали о том, как регрессия LASSO очень хороша при выполнении выбора функций, поскольку она использует регуляризацию.L1L1l_1 Мой вопрос: люди обычно используют модель LASSO только для выбора функций (а затем переходят к сбросу этих функций в другую модель...
Мне интересно, как правильно подойти к обучению и тестированию модели LASSO с использованием glmnet в R? В частности, мне интересно, как это сделать, если отсутствие внешнего набора тестовых данных требует использования перекрестной проверки (или другого аналогичного подхода) для тестирования моей...
[Подобный вопрос был задан здесь без ответов] Я подобрал модель логистической регрессии с регуляризацией L1 (логистическая регрессия Лассо), и я хотел бы проверить соответствие значимых коэффициентов и получить их p-значения. Я знаю, что тесты Вальда (например) - это возможность проверить...
Недавно я принимал участие в нескольких обсуждениях статистики по Лассо (регуляризация), и постоянно поднимается вопрос: мы не очень понимаем, почему Лассо работает или почему он так хорошо работает. Мне интересно, к чему относится это утверждение. Очевидно, я понимаю, почему Лассо работает...
Если у меня есть проектная матрица , где - число наблюдений измерения , какова сложность решения для с LASSO, без и ? Я думаю, что ответ должен относиться к тому, как масштабируется одна итерация LASSO с этими параметрами, а не к тому, как масштабируется количество итераций (сходимость), если вы не...
В нескольких ответах, которые я видел, пользователи CrossValidated предлагают OP найти ранние статьи о Lasso, Ridge и Elastic Net. Для потомков, каковы основополагающие работы в Lasso, Ridge и Elastic Net?...
Мое понимание регрессии LASSO заключается в том, что коэффициенты регрессии выбираются для решения проблемы минимизации: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t На практике это делается с использованием множителя Лагранжа, что...
Итак, у меня есть 16 испытаний, в которых я пытаюсь идентифицировать человека по биометрической характеристике, используя расстояние Хэмминга. Мой порог установлен на 3,5. Мои данные ниже, и только пробная версия 1 является истинным положительным результатом: Trial Hamming Distance 1 0.34 2 0.37 3...