Я запрограммировал логистическую регрессию, используя алгоритм IRLS . Я хотел бы применить штраф LASSO для автоматического выбора правильных функций. На каждой итерации решается следующее: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Пусть...
Я подгоняю L1-регуляризованную линейную регрессию к очень большому набору данных (с n >> p.). Переменные известны заранее, но наблюдения приходят небольшими порциями. Я хотел бы поддерживать форму лассо после каждого куска. Я, очевидно, могу заново подогнать всю модель после просмотра каждого...
Есть ли хорошие статьи или книги, посвященные использованию координатного спуска для L1 (лассо) и / или упругой регуляризации сети для задач линейной
Я пытаюсь понять, как алгоритм Ларса может быть изменен для генерации лассо. Хотя я понимаю LARS, я не могу видеть модификацию Лассо из статьи Tibshirani et al. В частности, я не понимаю, почему условие знака в том, что знак ненулевой координаты должен совпадать со знаком текущей корреляции. Может...
Я читал в нескольких местах, что R Squared не является идеальной мерой, когда модель подгоняется с использованием LASSO. Однако я не совсем понимаю, почему это так. Кроме того, не могли бы вы порекомендовать лучшую...
Для моего текущего исследования я использую метод Лассо через пакет glmnet в R для биномиальной зависимой переменной. В glmnet оптимальная лямбда определяется путем перекрестной проверки, и полученные модели можно сравнивать с различными показателями, например, ошибочной классификацией или...
В сжатом восприятии есть теорема, гарантирующая, что имеет уникальное разреженное решение c (подробности см. В приложении).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Есть ли аналогичная теорема для лассо? Если такая теорема...
Этот пост следует за этим: Почему оценка гребня становится лучше, чем OLS, добавляя константу к диагонали? Вот мой вопрос: Насколько я знаю, в регуляризации хребта используется (евклидово расстояние). Но почему мы используем квадрат этой нормы? (прямое применение приведет к получению квадратного...
Я использую "glmnet" для регрессии лассо в GWAS. Некоторые варианты и отдельные лица имеют пропущенные значения, и кажется, что glmnet не может обработать пропущенные значения. Есть ли решение для этого? или есть другой пакет, который может обрабатывать пропущенные значения в регрессии Лассо? Вот...
Тем временем я изучаю LASSO (оператор наименьшей абсолютной усадки и выбора). Я вижу, что оптимальное значение параметра регуляризации можно выбрать перекрестной проверкой. Я также вижу в регрессии гребня и во многих методах, которые применяют регуляризацию, мы можем использовать CV, чтобы найти...
У меня уже есть представление о плюсах и минусах регрессии гребня и LASSO. Для LASSO штрафной член L1 даст вектор разреженного коэффициента, который можно рассматривать как метод выбора признаков. Тем не менее, существуют некоторые ограничения для LASSO. Если функции имеют высокую корреляцию, LASSO...
Zou et al. «О« степенях свободы »Лассо» (2007) показывают, что число ненулевых коэффициентов является объективной и непротиворечивой оценкой степеней свободы Лассо. Это кажется немного нелогичным для меня. Предположим, у нас есть модель регрессии (где переменные имеют среднее значение ноль)...
В настоящее время я работаю над созданием прогнозирующей модели для двоичного результата на наборе данных с ~ 300 переменными и 800 наблюдениями. Я много читал на этом сайте о проблемах, связанных со ступенчатой регрессией, и почему бы не использовать ее. Я изучал регрессию LASSO и ее способность...
LASSO и адаптивный LASSO - это разные вещи, верно? (Для меня штрафы выглядят по-другому, но я просто проверяю, что я что-то упускаю.) Когда вы вообще говорите об эластичной сетке, это особый случай LASSO или адаптивный LASSO? Что делает пакет glmnet, если вы выберете alpha = 1? Адаптивный LASSO...
Я пытаюсь обобщить то, что я до сих пор понимал в многомерном анализе наказаний с помощью многомерных наборов данных, и я все еще борюсь за то, чтобы получить правильное определение мягкого порогового определения по сравнению с штрафом Лассо (или ).L1L1L_1 Точнее, я использовал разреженную...
Когда я определяю свою лямбду через перекрестную проверку, все коэффициенты становятся равными нулю. Но у меня есть некоторые намеки из литературы, что некоторые из предикторов должны определенно повлиять на результат. Является ли ерундой произвольно выбирать лямбду, чтобы не было столько...
Прочитав главу 3 «Элементы статистического обучения» (Hastie, Tibshrani & Friedman), я подумал, возможно ли реализовать известные методы сжатия, указанные в названии этого вопроса, с учетом ковариационной структуры, т. Е. Минимизировать (возможно, более общее). ) количество ( у⃗ - Хβ⃗ )TВ-...
Я использую регрессионную модель с Лассо и Риджем (для прогнозирования дискретной переменной результата в диапазоне от 0 до 5). Перед запуском модели я использую SelectKBestметод, scikit-learnчтобы уменьшить набор функций с 250 до 25 . Без первоначального выбора признаков и Лассо, и Ридж уступают...
Я хотел бы вручную зафиксировать определенный коэффициент, скажем, , затем подогнать коэффициенты ко всем остальным предикторам, сохраняя при этом β 1 = 1,0 в модели.β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 Как я могу добиться этого с помощью R? Я бы особенно хотел поработать с LASSO (...
Моя ситуация: небольшой размер выборки: 116 двоичная переменная результата длинный список объясняющих переменных: 44 объясняющие переменные не исходили из головы; их выбор был основан на литературе. В большинстве случаев в выборке и в большинстве переменных отсутствуют значения. Подход к выбору...