Чем сверточный слой отличается от обычной сверточной сети?

9

В настоящее время я работаю над воссозданием результатов этой статьи . В статье они описывают метод использования CNN для извлечения признаков и имеют акустическую модель, которая является Dnn-хмм и предварительно обученной с использованием RBM.

В разделе III подраздела А изложены различные способы представления входных данных. Я решил вертикально расположить спектральные графики статических, дельта и дельта дельт.

Итак, как таковой: введите описание изображения здесь

Затем в документе описывается, какой должна быть сеть. Они утверждают, что используют сверточную сеть, но ничего о структуре сети? Более того, всегда ли сеть называют сверточным слоем? который, я уверен, я вижу какую-то разницу по сравнению с обычной сетевой сверточной нейронной сетью (cnn).

В документе говорится о разнице:

(из раздела III подраздела B)

Однако сверточный слой отличается от стандартного полностью связанного скрытого слоя в двух важных аспектах. Во-первых, каждая сверточная единица получает вход только из локальной области ввода. Это означает, что каждый блок представляет некоторые особенности локальной области ввода. Во-вторых, единицы сверточного слоя сами могут быть организованы в несколько карт объектов, где все элементы в одной и той же карте объектов имеют одинаковые веса, но получают входные данные из разных мест нижнего уровня.

Еще одна вещь, которая меня интересует, заключается в том, действительно ли в документе указывается, сколько выходных параметров необходимо для подачи акустической модели dnn-hmm. Кажется, я не могу декодировать количество фильтров, размеры фильтров .. в общих чертах сети?

Карлтон Бэнкс
источник
Я тоже заинтересован в этом. Думаю, я могу начать щедрость, чтобы ускорить процесс.
Ламда

Ответы:

4

Кажется, что сверточный слой точно такой же, как обычный сверточный слой. Из их статьи они утверждают, что термин «слой CNN» обычно относится к сверточному слою, за которым следует объединяющий слой. В попытке уменьшить путаницу они называют сверточную часть «сверточным слоем», а объединяющую часть - «объединяющим слоем»:

В терминологии CNN пара сверточных и объединяющих слоев на фиг. 2 последовательно называется одним «слоем» CNN. Глубокая CNN, таким образом, состоит из двух или более из этих пар подряд. Чтобы избежать путаницы, мы будем называть слои свертки и объединения как слои свертки и объединения, соответственно.

Как ни странно, это усилило путаницу, приведшую к этому посту. В то время, я полагаю, не было обычным иметь несколько сверточных слоев подряд перед слоем объединения, но мы часто видим это в современных архитектурах.

Чтобы ответить на ваш другой вопрос о структуре сети; они определяют структуру сети, которую они используют, в разделе «Эксперименты» (раздел VB). Для того, чтобы мы надеемся избежать путаницы, я заменил слово «слойные» с «слоем»:

В этих экспериментах мы использовали один сверточный [слой], один объединяющий [слой] и два полностью связанных скрытых слоя сверху. Полностью соединенные слои имели 1000 блоков в каждом. Параметры свертки и объединения были следующими: размер пула 6, размер смещения 2, размер фильтра 8, 150 карт характеристик для FWS и 80 карт характеристик на полосу частот для LWS.

timleathart
источник