Опорные векторные машины и регрессия

26

Уже было отличное обсуждение того, как машины опорных векторов справляются с классификацией, но я очень озадачен тем, как машины опорных векторов обобщаются в регрессию.

Кто-нибудь хочет меня просветить?

Zach
источник

Ответы:

17

В основном они обобщаются одинаково. Основанный на ядре подход к регрессии состоит в том, чтобы преобразовать свойство, назвать его в некоторое векторное пространство, а затем выполнить линейную регрессию в этом векторном пространстве. Чтобы избежать «проклятия размерности», линейная регрессия в преобразованном пространстве несколько отличается от обычных наименьших квадратов. В результате регрессия в преобразованном пространстве может быть выражена как , где - наблюдения из обучающего набора, - преобразование, применяемое к данным, а точка - произведение точек. Таким образом, линейная регрессия «поддерживается» несколькими (предпочтительно очень небольшим числом) обучающими векторами. Икс(Икс)знак равноΣявесяφ(Икся)φ(Икс)Иксяφ()

Все математические детали скрыты в странной регрессии, выполненной в преобразованном пространстве («нечувствительная к эпсилону трубка» или что-то в этом роде) и выборе преобразования, . Для специалиста есть также вопросы о нескольких свободных параметрах (обычно в определении и регрессии), а также о фьюриризации , в которой знание предметной области обычно полезно.φφ

shabbychef
источник
С точки зрения интуиции, это почти похоже на классификацию одного класса, где линия «границы» класса проходит через точки, а не между точками двух классов?
Уэйн
@ Уэйн, это мое понимание, да. Я не на 100%, однако.
Зак
5

Для обзора SVM: Как работает машина опорных векторов (SVM)?

Что касается поддержки регрессии вектора поддержки (SVR), я нахожу эти слайды из http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( зеркало ) очень ясными:

введите описание изображения здесь

введите описание изображения здесьвведите описание изображения здесь

введите описание изображения здесь

введите описание изображения здесь

введите описание изображения здесь

введите описание изображения здесь

введите описание изображения здесь

введите описание изображения здесь

Документация Matlab также имеет хорошее объяснение и дополнительно описывает алгоритм решения оптимизации: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( зеркало ).

До настоящего времени в этом ответе была представлена ​​так называемая эпсилон-нечувствительная регрессия SVM (ε-SVM). Существует более поздний вариант SVM для любой классификации регрессии: метод опорных векторов наименьших квадратов .

Кроме того, SVR может быть расширен для нескольких выходов, или нескольких целей, например, см. {1}.


Ссылки:

Франк Дернонкур
источник