Какая связь между регуляризацией и методом множителей Лагранжа?

Чтобы не допустить перегрузки людей, люди добавляют термин регуляризации (пропорциональный квадрату суммы параметров модели) с параметром регуляризации к функции стоимости линейной регрессии. Является ли этот параметр таким же, как множитель Лагранжа? Так регуляризация такая же, как метод множителя Лагранжа? Или как эти методы связаны? $\lambda$$\lambda$

Скажем, мы оптимизируем модель с параметрами , минимизируя некоторый критерий учетом ограничения на величину вектора параметров (например, для реализации подхода минимизации структурного риска путем построение вложенного набора моделей возрастающей сложности), нам необходимо решить: ; F( → & thetas$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Лагранжиан для этой проблемы (предостережение: я думаю, это был длинный день ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Таким образом, легко увидеть, что регуляризованная функция стоимости тесно связана с проблемой оптимизации с ограничениями, причем параметр регуляризации связан с константой, управляющей ограничением ( ), и, по сути, является множителем Лагранжа. $\lambda$$C$

Это иллюстрирует, почему, например, регрессия гребня реализует структурную минимизацию риска: Регуляризация эквивалентна наложению ограничения на величину вектора весов, и если то каждая модель, которая может быть сделана при соблюдении ограничения, которое$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

также будет доступен под ограничением

$\|\vec{\theta}\|^2 < C_1$ .

Следовательно, уменьшение порождает последовательность пространств гипотез возрастающей сложности.$\lambda$