Как поддержка векторной регрессии работает интуитивно?

25

Все примеры SVM связаны с классификацией. Я не понимаю, как SVM для регрессии (опорный вектор-регрессор) можно использовать в регрессии.

Насколько я понимаю, SVM максимизирует разницу между двумя классами, чтобы найти оптимальную гиперплоскость. Как это могло бы работать в проблеме регрессии?

А.А.
источник

Ответы:

11

Вкратце: максимизация разницы в более общем смысле может рассматриваться как регуляризация решения путем минимизации (что, по сути, минимизирует сложность модели), это делается как в классификации, так и в регрессии. Но в случае классификации эта минимизация выполняется при условии, что все примеры классифицированы правильно, и в случае регрессии при условии, что значение y всех примеров отклоняется меньше, чем требуемая точность ϵ от f ( x ) для регрессии.wyϵf(x)


Чтобы понять, как вы переходите от классификации к регрессии, это помогает увидеть, как в обоих случаях применяется одна и та же теория SVM для формулирования проблемы как задачи выпуклой оптимизации. Я постараюсь положить обе стороны рядом.

(Я буду игнорировать слабые переменные, которые допускают неправильную классификацию и отклонения выше точности )ε

классификация

В этом случае цель состоит в том, чтобы найти функцию где f ( x ) 1 для положительных примеров и f ( x ) - 1 для отрицательных примеров. В этих условиях мы хотим максимизировать запас (расстояние между двумя красными полосами), который является не чем иным, как минимизацией производной от f =е(Икс)знак равновесИкс+бе(Икс)1е(Икс)-1 .е'знак равновес

Интуиция, лежащая в основе максимизации запаса, состоит в том, что это даст нам уникальное решение проблемы нахождения (т.е. мы отбрасываем, например, синюю линию), а также то, что это решение является наиболее общим в этих условиях, т.е. оно действует как регуляризация . Это можно увидеть, когда вокруг границы решения (где пересекаются красные и черные линии) неопределенность классификации самая большая и выбирается самое низкое значение для f ( x )е(Икс)е(Икс) в этой области даст наиболее общее решение.

введите описание изображения здесь

Точки данных на 2 красных столбцах являются опорными векторами в этом случае, они соответствуют ненулевым множителям Лагранжа части равенства условий неравенства и f ( x ) - 1е(Икс)1е(Икс)-1

регрессия

е(Икс)знак равновесИкс+бе(Икс)εY(Икс)|Y(Икс)-е(Икс)|εепsяLоNэто расстояние между красной и серой линиями. При этом условии мы снова хотим минимизировать , опять же по причине регуляризации и получить единственное решение в результате выпуклой задачи оптимизации. Можно видеть, как минимизация w приводит к более общему случаю как экстремальное значение w = 0е'(Икс)знак равновесвесвесзнак равно0 будет означать отсутствие функциональной связи вообще, что является наиболее общим результатом, который можно получить из данных.

введите описание изображения здесь

Точки данных на 2 красных столбцах являются опорными векторами в этом случае, они соответствуют ненулевым множителям Лагранжа части равенства условия неравенства |Y-е(Икс)|ε

Вывод

Оба случая приводят к следующей проблеме:

мин12вес2

При условии, что:

  • Все примеры классифицированы правильно (классификация)
  • Yεе(Икс)
Lejafar
источник
0

В SVM для задачи классификации мы фактически пытаемся отделить класс, насколько это возможно, от разделительной линии (гиперплоскости) и, в отличие от логистической регрессии, мы создаем границу безопасности с обеих сторон гиперплоскости (различие между логистической регрессией и классификацией SVM заключается в их функция потери). В конце концов, имея разные точки данных как можно дальше от гиперплоскости.

В SVM для проблемы регрессии, мы хотим подобрать модель, чтобы предсказать количество на будущее. Поэтому мы хотим, чтобы точка данных (наблюдение) была как можно ближе к гиперплоскости, в отличие от SVM для классификации. Регрессия SVM, унаследованная от простой регрессии, подобной (обычному наименьшему квадрату), этой разницей, что мы определяем эпсилон-диапазон с обеих сторон гиперплоскости, чтобы сделать функцию регрессии нечувствительной к ошибке, в отличие от SVM, для классификации, которую мы определяем границу, которую можно безопасно использовать для создания будущее решение (прогноз). В итоге,

Morteza
источник