Я слушал разговор и увидел этот слайд:
Насколько это правда?
deep-learning
deep-belief-networks
Franck Dernoncourt
источник
источник
Ответы:
Я просматривал AI StackExchange и наткнулся на очень похожий вопрос: что отличает «глубокое обучение» от других нейронных сетей?
Поскольку AI StackExchange закроется завтра (снова), я скопирую два главных ответа здесь (вклады пользователей, лицензируемые по cc by-sa 3.0 с обязательным указанием авторства):
Автор: mommi84less
Автор: lejlot
Еще один интересный слайд:
источник
источник
Говорят, что отсев из Хинтона в 2006 году стал величайшим улучшением в углубленном изучении за последние 10 лет, потому что оно значительно снижает переоснащение.
источник
Это, безусловно, вопрос, который вызовет споры.
Когда нейронные сети используются в глубоком обучении, они обычно обучаются способами, которые не использовались в 1980-х годах. В частности, утверждается, что стратегии, предусматривающие предварительную подготовку отдельных слоев нейронной сети для распознавания функций на разных уровнях, облегчают обучение сетей с несколькими уровнями. Это, безусловно, новая разработка с 1980-х годов.
источник
Ключом является слово «глубоко» в глубоком обучении. Кто - то (забыл исх) в 80 - е годы доказали , что все нелинейные функции могут быть аппроксимированы одной однослойной нейронной сети с, конечно, достаточно большое число скрытых блоков. Я думаю, что этот результат, вероятно, отговаривал людей искать более глубокую сеть в более раннюю эпоху.
Но глубина сети - это то, что оказалось ключевым элементом в иерархическом представлении, который определяет успех многих современных приложений.
источник
Не совсем, ANN начинается в 50-х годах. Посмотрите слайды одной из рок-звезд ML Янна ЛеКуна, чтобы увидеть подлинное и всеобъемлющее вступление. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf
источник