Многие авторы статей, которые я читаю, утверждают, что SVM - это превосходный метод для решения проблемы регрессии / классификации, осознавая, что они не могут получить аналогичные результаты с помощью NN. Часто сравнение утверждает, что
SVM вместо NN,
- Иметь сильную теорию основания
- Достигнуть глобального оптимума благодаря квадратичному программированию
- Нет проблем для выбора правильного количества параметров
- Менее склонны к переоснащению
- Требуется меньше памяти для хранения прогнозирующей модели
- Дайте более читаемые результаты и геометрическую интерпретацию
Это серьезно общепринятая мысль? Не цитируйте теорему об отсутствии свободного обеда или подобные утверждения, мой вопрос касается практического использования этих методов.
С другой стороны, с какой абстрактной проблемой вы определенно столкнетесь с NN?
machine-learning
svm
neural-networks
stackovergio
источник
источник
Ответы:
Это вопрос компромиссов. SVMs находятся в прямо сейчас, NNS используются , чтобы быть в . Вы найдете все больше статей, в которых утверждается, что в журналах представлены «Случайные леса», «Вероятностные графические модели» или «Непараметрические байесовские методы» . Кто-то должен опубликовать прогнозную модель в « Анналах невероятных исследований» о том, какие модели будут считаться модными.
Сказав, что для многих известных трудно контролируемых задач наиболее эффективными одиночными моделями являются некоторый тип NN, некоторый тип SVM или метод стохастического градиентного спуска для конкретной задачи, реализованный с использованием методов обработки сигналов.
Плюсы NN:
Плюсы СВМ:
Меньше гиперпараметров. Как правило, для получения достаточно точной модели SVM требует меньше поиска по сетке. SVM с ядром RBF обычно работает довольно хорошо.
Глобальный оптимум гарантирован.
Минусы NN и SVM:
источник
Ответ на ваш вопрос, по моему опыту, «нет», SVM определенно не превосходят, и то, что работает лучше всего, зависит от природы набора данных и относительного мастерства оператора с каждым набором инструментов. В целом SVM хороши тем, что алгоритм обучения эффективен и имеет параметр регуляризации, который заставляет вас задуматься о регуляризации и переоснащении. Тем не менее, существуют наборы данных, в которых MLP дают гораздо лучшую производительность, чем SVM (поскольку им разрешено определять свое собственное внутреннее представление, а не предварительно указывать его функцией ядра). Хорошая реализация MLP (например, NETLAB) и регуляризация или ранняя остановка или выбор архитектуры (или, что еще лучше, все три) часто могут дать очень хорошие результаты и быть воспроизводимыми (по крайней мере, с точки зрения производительности).
Выбор модели является основной проблемой SVM, выбор ядра и оптимизация параметров ядра и регуляризации часто могут привести к серьезной перестройке, если вы чрезмерно оптимизируете критерий выбора модели. Хотя теория, лежащая в основе SVM, удобна, большая ее часть применима только к фиксированному ядру, поэтому, как только вы попытаетесь оптимизировать параметры ядра, она больше не применяется (например, проблема оптимизации, которую нужно решить при настройке ядра). обычно невыпуклый и может иметь локальные минимумы).
источник
Я просто попытаюсь объяснить свое мнение, которое, как мне кажется, разделяет большинство моих друзей. У меня есть следующие опасения по поводу NN, которые вообще не касаются SVM:
Это не значит, что вы не должны использовать NN, вы должны просто использовать его осторожно. Например, Convolutional NN может быть чрезвычайно хорош для обработки изображений, другие Deep NN оказались хорошими и для других задач.
Надеюсь, это поможет.
источник
Я использую нейронные сети для большинства проблем. Дело в том, что в большинстве случаев речь идет больше об опыте пользователя, чем о модели. Вот несколько причин, почему мне нравятся NNs.
Я расскажу другие ваши пункты шаг за шагом.
Я бы сказал, что NN одинаково сильны в этом случае: поскольку вы обучаете их в вероятностных рамках. Это делает возможным использование априорных значений и байесовское лечение (например, с помощью вариационных методов или приближений).
Для одного набора гиперпараметров. Тем не менее, поиск хорошего hps не является выпуклым, и вы не будете знать, нашли ли вы также глобальный оптимум.
С SVM вы также должны выбирать гиперпараметры.
Вам нужно хранить векторы поддержки. Как правило, SVM не будет дешевле хранить MLP, это зависит от ситуации.
Верхний слой MLP является логистической регрессией в случае классификации. Таким образом, существует геометрическая интерпретация (разделяющая гиперплоскость) и вероятностная интерпретация.
источник
В некоторой степени эти две широкие категории техники машинного обучения связаны между собой. Хотя и не идеально, две статьи, которые я нашел полезными для демонстрации сходства этих методов, приведены ниже.
а также
источник