Я видел людей, которые приложили много усилий к SVM и ядрам, и они выглядят довольно интересно, как начинающие в машинном обучении. Но если мы ожидаем, что почти всегда мы сможем найти превосходящее решение с точки зрения (глубокой) нейронной сети, каков смысл использования других методов в эту эпоху?
Вот мое ограничение на эту тему.
- Мы думаем только о контролируемых уроках; Регрессия и классификация.
- Читаемость Результата не учитывается; учитывается только точность задачи контролируемого обучения.
- Вычислительная стоимость не учитывается.
- Я не говорю, что любые другие методы бесполезны.
Ответы:
Вот одна теоретическая и две практические причины, по которым кто-то может рационально предпочесть подход без DNN.
Теорема об отсутствии бесплатного обеда от Wolpert и Macready говорит
Другими словами, ни один алгоритм не управляет ими всеми; Вы должны сравниться.
Очевидным опровержением здесь является то , что вы обычно не заботятся о всех возможных проблемах, и глубокое изучение , кажется, работает хорошо на несколько классов проблем , которые люди делают заботу о (например, распознавание объектов), и таким образом , это разумно первый / единственный выбор для других приложений в этих доменах.
Многие из этих очень глубоких сетей требуют тонны данных, а также тонны вычислений, чтобы соответствовать. Если у вас есть, скажем, 500 примеров, двадцатислойная сеть никогда не будет хорошо учиться, в то время как можно было бы соответствовать гораздо более простой модели. Есть удивительное количество проблем, когда невозможно собрать тонну данных. С другой стороны, можно попытаться научиться решать связанную проблему (если доступно больше данных), использовать что-то вроде трансферного обучения, чтобы адаптировать его к конкретной задаче с низким уровнем доступности данных.
Глубокие нейронные сети также могут иметь необычные режимы сбоев. Есть некоторые документы, показывающие, что едва заметные человеческие изменения могут привести к тому, что сеть перевернется от правильной классификации изображения к уверенной неправильной классификации его. (См. Здесь и сопроводительный документ Szegedy et al.) Другие подходы могут быть более надежными против этого: есть отравляющие атаки на SVM (например, это Биджио, Нельсон и Ласков), но они происходят в поезде, а не тестируют время. С другой стороны, существуют известные (но не очень) пределы производительности для алгоритма ближайшего соседа. В некоторых ситуациях вы можете быть довольны более низкой общей производительностью и меньшим шансом катастрофы.
источник
Где-то в этом списке воспроизведения лекций Джеффа Хинтона (из его курса Coursera по нейронным сетям) есть сегмент, где он говорит о двух классах проблем:
Я помню объяснение, что, хотя нейронные сети процветают в этом последнем пространстве, традиционные статистические методы часто лучше подходят для первого. Анализ цифровых фотографий с высоким разрешением реальных вещей в мире, месте, где превосходят глубокие сверточные сети, явно составляет последнее.
С другой стороны, когда шум является доминирующей характеристикой, например, в медицинском исследовании случай-контроль с 50 случаями и 50 контролями, традиционные статистические методы могут лучше подходить для этой проблемы.
Если кто-нибудь найдет это видео, пожалуйста, прокомментируйте, и я обновлю.
источник
Две линейно усовершенствованные коррелированные переменные. Может ли глубокая сеть с 1 миллионом скрытых слоев и 2 триллионом нейтронов победить простую линейную регрессию?
отредактированный
По моему опыту, сбор образцов более дорог, чем вычисление. Я имею в виду, мы можем просто нанять несколько экземпляров Amazon, провести углубленное обучение, а затем вернуться через несколько дней. Стоимость в моем поле составляет около 200 долларов США. Стоимость минимальная. Мои коллеги зарабатывают больше, чем за день.
Сбор образцов обычно требует знания предметной области и специального оборудования. Глубокое обучение подходит только для задач с дешевым и легким доступом к набору данных, таких как обработка естественного языка, обработка изображений и все, что вы можете соскрести из Интернета.
источник