Есть ли приложения, в которых SVM все еще лучше?

10

Алгоритм SVM довольно старый - он был разработан в 1960-х годах, но был чрезвычайно популярен в 1990-х и 2000-х годах. Это классическая (и довольно красивая) часть курсов машинного обучения.

Сегодня кажется, что в медиа-обработке (изображения, звук и т. Д.) Нейронные сети полностью доминируют, в то время как в других областях Gradient Boosting имеет очень сильные позиции.

Кроме того, в недавних соревнованиях данных я не вижу решений на основе SVM.

Я ищу примеры приложений, в которых SVM по-прежнему дает самые современные результаты (по состоянию на 2016 год).

Обновление: я хотел бы привести пример, который я могу привести, например, студентам / коллегам при объяснении SVM, чтобы он не выглядел как чисто теоретический или устаревший подход.

Alleo
источник
3
Выше в каком смысле? Какой-то показатель производительности? Обучение глубокой нейронной сети требует значительного количества компьютерного времени, но я могу обучить исправный SVM на своем ноутбуке.
Sycorax сообщает восстановить Monica
@ user777 Я имею в виду, конечно, показатель классификации / регрессии, соответствующий области применения. Проблема сложности вычислений для DL важна, но она немного выходит за рамки этого вопроса.
Alleo

Ответы:

11

Согласно статье « Нужны ли сотни классификаторов для решения проблем классификации в реальном мире? SVM вместе с машинами случайного леса и градиентной загрузки являются одними из самых эффективных алгоритмов классификации для большого набора из более чем 120 наборов данных (с использованием точности в качестве метрики).

Я повторил их эксперименты с некоторыми модификациями, и я получаю, что эти три классификатора работают лучше, чем другие, но, как утверждает теорема об отсутствии бесплатного обеда , всегда есть проблема, когда какой-то другой алгоритм работает лучше, чем эти три.

Так что да, я бы сказал, что SVM (с ядром Гаусса - это то, что я использовал) по-прежнему актуален для наборов данных, не связанных со средой.

Жак Вайнер
источник
Привет, спасибо за ответ! Я видел это интересное исследование. Насколько я понимаю, идея состояла в том, чтобы увидеть, сколько дает классификатор без какой-либо серьезной настройки (в то время как аналитик данных должен выполнить настройку IMO). Исследование, связанное с областью, будет более интересным.
Alleo
1
Я помню, что Delgado et all не выполнили очень подробный поиск лучших гиперпараметров, но если бы они выполнили некоторый поиск. Вопрос (на который у меня нет ответа) заключается в том, приведет ли более мелкозернистый поиск лучших гиперпараметров к другим результатам. Если это правда, это будет означать, что конкурирующие алгоритмы с SVM имеют в целом очень резкий пик точности для определенных гиперпараметров, что, я думаю, является негативным фактором для алгоритма.
Жак Вайнер
Также один небольшой комментарий заключается в том, что наборы данных UCI (используемые для тестов) в основном довольно малы. Интересно, может ли это быть объяснением плохих результатов повышения? Большинство проблем (с большим количеством данных) демонстрируют превосходную производительность ГБ.
Alleo
Я согласен, что наборы данных невелики. Для больших наборов данных, которые я использовал в данный момент, - я начну использовать GBM, как только мне станет лучше с гиперпараметрами - я не знаю, насколько для них разумен GBM.
Жак Вайнер