Я пытаюсь выполнить регрессию лассо, которая имеет следующую форму:
Минимизируйте в
Учитывая , мне посоветовали найти оптимальное с помощью квадратичного программирования, которое принимает следующую форму:
Минимизируйте в , в зависимости от
Теперь я понимаю, что термин должен быть преобразован в термин ограничения , что довольно просто. Однако я почему-то просто не понимаю, как я мог бы перевести первый член первого уравнения в первый член второго. Я не мог найти много об этом в сети, поэтому я решил спросить здесь.
источник
Я хотел добавить, как решить преобразование ограничений очень удобная форма для квадратичного программирования, поскольку она не так проста, как я думал. Невозможно найти вещественную матрицу такую, что .A A w ≤ s ↔ ∑ | ш я | ≤ с∑|wi|≤s A Aw≤s↔∑|wi|≤s
Подход, который я использовал, состоял в том, чтобы разделить элементы вектора на и , так что . Если , у вас есть и , иначе у вас естьи . Или, в более математических терминах, иИ и - неотрицательные числа. Идея разделения чисел состоит в том, что теперь у вас есть w w + i w - i w i = w + i - w - i w i ≥ 0 w + i = w i w - i = 0 w - i = | ш я | w + i = 0 w + i = | ш я | + ш яwi w w+i w−i wi=w+i−w−i wi≥0 w+i=wi w−i=0 w−i=|wi| w+i=0 ш - я =| шя| -шIw+i=|wi|+wi2 w - i w + i | шя| =w + i +w - iw−i=|wi|−wi2. w−i w+i |wi|=w+i+w−i , эффективно избавляясь от абсолютных значений.
Функция для оптимизации превращается в: , субъект к12(w+−w−)TQ(w+−w−)+cT(w+−w−) w+i+w−i≤s,w+i,w−i≥0
Где и даны как указано выше Glen_bQ c
Это должно быть преобразовано в удобную форму, то есть нам нужен один вектор. Это делается следующим образом:
при условии
Где - мерная единичная матрица, - мерный вектор, состоящий только из значения а - -мерный нулевой вектор. Первая половина обеспечивает , второй Теперь можно использовать квадратичное программирование для поиска и , заданных . Как только это будет сделано, вашим оптимальным параметром по отношению к будет . D s D D s 0 D 2 ∗ D | ш я | = w + i + w - i ≤ s w + i , w - i ≥ 0 w + w - s s w = w + - w -ID D sD D s 0D 2∗D |wi|=w+i+w−i≤s w+i,w−i≥0 w+ w− s s w=w+−w−
Источник и дальнейшее чтение: Решение квадратичного программирования с линейными ограничениями , содержащие абсолютные значения
источник