Минимальное количество слоев в глубокой нейронной сети

В какой момент мы начинаем классифицировать многослойные нейронные сети как глубокие нейронные сети или иначе говоря: «Каково минимальное количество слоев в глубокой нейронной сети?»

«Глубокий» - это маркетинговый термин: поэтому вы можете использовать его всякий раз, когда вам нужно продвигать свою многослойную нейронную сеть.

«Глубокая»
Одна из самых ранних глубоких нейронных сетей имеет три плотно связанных скрытых слоя ( Hinton et al. (2006) ).

«Очень глубокий»
В 2014 году «очень глубокий» VGG netowrks Simonyan et al. (2014) состоит из 16+ скрытых слоев.

«Чрезвычайно глубокие»
В 2016 году «чрезвычайно глубокие» остаточные сети He et al. (2016) состоят из 50 до 1000+ скрытых слоев.

Согласно литературе,

Шмидхубер, J. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети. 61: 85–117. arXiv: 1404.7828Бесплатно для чтения. DOI: 10.1016 / j.neunet.2014.09.003.

https://en.wikipedia.org/wiki/Deep_learning

Он сказал, что

Не существует общепризнанного порога глубинного разделения мелкого обучения на глубокое обучение, но большинство исследователей в этой области соглашаются, что глубокое обучение имеет несколько нелинейных слоев (CAP> 2), и Шмидхубер считает, что CAP> 10 является очень глубоким обучением

Цепочка преобразований от ввода к выводу - это путь присвоения кредита или CAP. Для нейронной сети с прямой связью глубина CAP и, следовательно, глубина сети - это количество скрытых слоев плюс один.