Что происходит, когда мы обучаем линейный SVM нелинейно разделяемым данным?

11

Что происходит, когда мы обучаем базовую опорную векторную машину (линейное ядро ​​и отсутствие мягкого поля) на нелинейно разделимых данных? Задача оптимизации неосуществима, так что возвращает алгоритм минимизации?

machine-learning svm SVM
источник

Ответы:

11

Я думаю, что базовая опорная векторная машина означает жесткую маржу SVM. Итак, давайте рассмотрим:

Что такое Hard-Margin SVM

Короче говоря, мы хотим найти гиперплоскость с наибольшим запасом, которая была бы способна правильно разделить все наблюдения в нашем пространстве обучающей выборки.

Задача оптимизации в жестком марже SVM

Учитывая приведенное выше определение, какую проблему оптимизации мы должны решить?

  1. Самая большая маржа гиперплоскости: мы хотим max(margin)
  2. Уметь правильно разделять все наблюдения: нам нужно оптимизировать, marginа также удовлетворить ограничение: нет ошибок в выборке

Что происходит, когда мы обучаем линейный SVM нелинейно разделяемым данным?

Возвращаясь к вашему вопросу, поскольку вы упомянули, что набор обучающих данных не является линейно разделимым, при использовании SVM с жестким полем без преобразований функций невозможно найти какую-либо гиперплоскость, которая удовлетворяет «Нет ошибок в выборке» .

Обычно мы решаем задачу оптимизации SVM с помощью квадратичного программирования, потому что она может выполнять задачи оптимизации с ограничениями. Если вы используете Gradient Descent или другие алгоритмы оптимизации, которые не удовлетворяют ограничениям SVM с жестким запасом, вы все равно должны получить результат, но это не гиперплоскость SVM с жестким запасом.

Кстати, с нелинейно разделяемыми данными, обычно мы выбираем

  • жесткие поля SVM + преобразования функций
  • использовать SVM с мягким полем напрямую (на практике SVM с мягким полем обычно дает хорошие результаты)
fansia
источник
спасибо за Ваш ответ. Таким образом, пакеты SVM, например, в R или Python, не используют методы квадратичного программирования, когда данные нелинейно разделимы?
SVM
Не уверен, какие библиотеки SVM вы используете. Я использую libsvm, и разные инструменты SVM могут использовать разные решатели SVM. Чтобы найти лучшие решатели SVM является еще одной темой исследования. QP является основным способом решения SVM.
Фансия