Где и почему глубокое обучение сияет?

20

Со всеми разговорами в средствах массовой информации и шумихой о глубоком изучении в эти дни я прочитал некоторые элементарные вещи об этом. Я только что обнаружил, что это просто еще один метод машинного обучения для изучения шаблонов на основе данных. Но мой вопрос: где и почему этот метод светит? Почему все говорят об этом прямо сейчас? Т.е. что это за суета?

Джек Твен
источник
4
Посмотрите на качественные лекции Джеффа Хинтона и Эндрю Нга на YouTube, чтобы легко понять, почему это так хорошо.
Джейс

Ответы:

22

Основные предполагаемые преимущества:

(1) Не нужно вручную разрабатывать функции для нелинейных задач обучения (экономия времени и масштабируемость на будущее, так как ручная инженерия рассматривается некоторыми как краткосрочная помощь)

(2) Изученные функции иногда лучше, чем лучшие функции, созданные вручную, и могут быть настолько сложными (компьютерное зрение, например, функции лица), что для их разработки потребуется слишком много человеческого времени.

(3) Может использовать немеченые данные для предварительного обучения сети. Предположим, у нас есть 1000000 немаркированных изображений и 1000 помеченных изображений. Теперь мы можем существенно улучшить алгоритм обучения под наблюдением, предварительно обучив 1000000 немеченых изображений с глубоким обучением. Кроме того, в некоторых областях у нас так много немеченых данных, но помеченные данные найти сложно. Алгоритм, который может использовать эти непомеченные данные для улучшения классификации, является ценным.

(4) Эмпирически, разбил много тестов, которые видели только постепенные улучшения до внедрения методов глубокого обучения.

(5) Один и тот же алгоритм работает в нескольких областях с необработанными (возможно, с незначительной предварительной обработкой) входными данными.

(6) Продолжает улучшаться по мере того, как в сеть поступает больше данных (при условии стационарного распределения и т. Д.).

Jase
источник
1

Еще один важный момент в дополнение к вышесказанному (у меня нет достаточного количества представителей, чтобы просто добавить его в качестве комментария), это то, что это генеративная модель (по крайней мере, Deep Belief Nets), и, таким образом, вы можете выбрать из изученных дистрибутивов - это может иметь некоторые основные преимущества в определенных приложениях, где вы хотите генерировать синтетические данные, соответствующие изученным классам / кластерам.

Алекс МакМюррей
источник
1
Это не общее свойство глубокого обучения, а конкретная рассматриваемая модель. Например, вы можете сделать выборку из гауссовской, но не из логистической регрессии. Вы также можете выбирать из множества моделей глубокого обучения, например, как вы сказали, сети глубокой веры, машины Больцмана, модели с латентным гауссовским делением и т. Д. Но вы не можете выбирать из сетей драднетов, которые являются моделями, которые использовались во всех впечатляющих Приложения.
Bayerj
... Почему вы не можете взять образец из логистической регрессии?
Hong Ooi
п(с|Икс)
1
Но то же самое верно для модели гауссовой регрессии, если под этим вы подразумеваете базовую линейную регрессию.
Hong Ooi