Я хотел бы поставить этот вопрос в двух частях. Оба имеют дело с обобщенной линейной моделью, но первый касается выбора модели, а другой - регуляризации. Справочная информация: Я использую модели GLM (линейная, логистическая, гамма-регрессия) как для прогнозирования, так и для описания. Когда я...
В сжатом восприятии есть теорема, гарантирующая, что имеет уникальное разреженное решение c (подробности см. В приложении).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Есть ли аналогичная теорема для лассо? Если такая теорема...
В последнее время я видел много статей о разреженных представлениях, и большинство из них используют норму и выполняют некоторую минимизацию. Мой вопрос: что норма и смешанная норма? И как они имеют отношение к регуляризации?ℓ p ℓ p , qℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q}...
Может ли кто-нибудь указать мне направление онлайнового (рекурсивного) алгоритма регуляризации Тихонова (регуляризованных наименьших квадратов)? В автономном режиме я вычисляю β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY используя мой исходный набор данных, где λλλ находится с...
Этот пост следует за этим: Почему оценка гребня становится лучше, чем OLS, добавляя константу к диагонали? Вот мой вопрос: Насколько я знаю, в регуляризации хребта используется (евклидово расстояние). Но почему мы используем квадрат этой нормы? (прямое применение приведет к получению квадратного...
Чтобы не допустить перегрузки людей, люди добавляют термин регуляризации (пропорциональный квадрату суммы параметров модели) с параметром регуляризации к функции стоимости линейной регрессии. Является ли этот параметр таким же, как множитель Лагранжа? Так регуляризация такая же, как метод множителя...
Тем временем я изучаю LASSO (оператор наименьшей абсолютной усадки и выбора). Я вижу, что оптимальное значение параметра регуляризации можно выбрать перекрестной проверкой. Я также вижу в регрессии гребня и во многих методах, которые применяют регуляризацию, мы можем использовать CV, чтобы найти...
У меня уже есть представление о плюсах и минусах регрессии гребня и LASSO. Для LASSO штрафной член L1 даст вектор разреженного коэффициента, который можно рассматривать как метод выбора признаков. Тем не менее, существуют некоторые ограничения для LASSO. Если функции имеют высокую корреляцию, LASSO...
Вот пример кода keras, который использует его: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
Я слышу эти слова все больше и больше, когда изучаю машинное обучение. Фактически, некоторые люди выиграли медаль Филдса, работающую над закономерностями уравнений. Итак, я думаю, что это термин, который переносится от статистической физики / математики к машинному обучению. Естественно, некоторые...
Я ищу литературу об отрицательной регрессии гребня . Короче говоря, это обобщение линейной регрессии гребня с использованием отрицательного значения в формуле оценки:У положительного случая есть хорошая теория: как функция потерь, как ограничение, как при Байесе до ... но я чувствую себя потерянным...
Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме перекрестной проверки. Закрыто в прошлом году . Какие реализации с открытым исходным кодом - на любом языке - существуют там, которые могут...
Под методами регуляризации я имею в виду лассо, ребристую регрессию, эластичную сеть и тому подобное. Рассмотрим прогностическую модель данных здравоохранения, содержащую демографические и диагностические данные, где прогнозируется продолжительность пребывания в стационаре. Для некоторых людей есть...
При выборе параметра регуляризации лямбда в Ridge или Lasso рекомендуется использовать разные значения лямбды, измерить ошибку в наборе валидации и, наконец, выбрать то значение лямбды, которое возвращает наименьшую ошибку. Мне не понятно, если функция f (лямбда) = error является выпуклой. Может ли...
Вот что я прочитал в книге Яна Гудфеллоу « Глубокое обучение» . В контексте нейронных сетей «штраф за норму параметра L2 обычно известен как затухание веса. Эта стратегия регуляризации приближает веса к началу координат [...]. В более общем смысле, мы могли бы упорядочить параметры, чтобы они были...
Я использую Двунаправленный RNN, чтобы обнаружить случай несбалансированного события. Положительный класс в 100 раз реже, чем отрицательный. Пока не используется регуляризация, я могу получить 100% точность в наборе поездов и 30% в наборе проверки. Я включаю регуляризацию l2, и в результате...
Недавно я принимал участие в нескольких обсуждениях статистики по Лассо (регуляризация), и постоянно поднимается вопрос: мы не очень понимаем, почему Лассо работает или почему он так хорошо работает. Мне интересно, к чему относится это утверждение. Очевидно, я понимаю, почему Лассо работает...
Если у меня есть проектная матрица , где - число наблюдений измерения , какова сложность решения для с LASSO, без и ? Я думаю, что ответ должен относиться к тому, как масштабируется одна итерация LASSO с этими параметрами, а не к тому, как масштабируется количество итераций (сходимость), если вы не...
В нескольких ответах, которые я видел, пользователи CrossValidated предлагают OP найти ранние статьи о Lasso, Ridge и Elastic Net. Для потомков, каковы основополагающие работы в Lasso, Ridge и Elastic Net?...
В неделю 3 - конспектов в классе Coursera Machine Learning Эндрю Нг , термин добавляется к функции стоимости реализации упорядочению: J+( θ ) = J( θ ) + λ2 мΣJ = 1Nθ2JJ+(θ)знак равноJ(θ)+λ2мΣJзнак равно1NθJ2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 В примечаниях к лекции...