Уже было отличное обсуждение того, как машины опорных векторов справляются с классификацией, но я очень озадачен тем, как машины опорных векторов обобщаются в регрессию.
Кто-нибудь хочет меня просветить?
Уже было отличное обсуждение того, как машины опорных векторов справляются с классификацией, но я очень озадачен тем, как машины опорных векторов обобщаются в регрессию.
Кто-нибудь хочет меня просветить?
В основном они обобщаются одинаково. Основанный на ядре подход к регрессии состоит в том, чтобы преобразовать свойство, назвать его в некоторое векторное пространство, а затем выполнить линейную регрессию в этом векторном пространстве. Чтобы избежать «проклятия размерности», линейная регрессия в преобразованном пространстве несколько отличается от обычных наименьших квадратов. В результате регрессия в преобразованном пространстве может быть выражена как , где - наблюдения из обучающего набора, - преобразование, применяемое к данным, а точка - произведение точек. Таким образом, линейная регрессия «поддерживается» несколькими (предпочтительно очень небольшим числом) обучающими векторами.
Все математические детали скрыты в странной регрессии, выполненной в преобразованном пространстве («нечувствительная к эпсилону трубка» или что-то в этом роде) и выборе преобразования, . Для специалиста есть также вопросы о нескольких свободных параметрах (обычно в определении и регрессии), а также о фьюриризации , в которой знание предметной области обычно полезно.
Для обзора SVM: Как работает машина опорных векторов (SVM)?
Что касается поддержки регрессии вектора поддержки (SVR), я нахожу эти слайды из http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( зеркало ) очень ясными:
Документация Matlab также имеет хорошее объяснение и дополнительно описывает алгоритм решения оптимизации: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( зеркало ).
До настоящего времени в этом ответе была представлена так называемая эпсилон-нечувствительная регрессия SVM (ε-SVM). Существует более поздний вариант SVM для любой классификации регрессии: метод опорных векторов наименьших квадратов .
Кроме того, SVR может быть расширен для нескольких выходов, или нескольких целей, например, см. {1}.
Ссылки:
источник