Введение Фон
Внутри сверточной нейронной сети мы обычно имеем общую структуру / поток, который выглядит следующим образом:
- входное изображение (т.е. 2D вектор
x
)
(1-й сверточный слой (Conv1) начинается здесь ...)
- свертывать набор фильтров (
w1
) вдоль двумерного изображения (т. е. делатьz1 = w1*x + b1
умножения точечного произведения), гдеz1
3D иb1
смещения. - применить функцию активации (например, ReLu), чтобы сделать
z1
нелинейный (напримерa1 = ReLu(z1)
, гдеa1
3D).
(2-й Сверточный слой (Conv2) начинается здесь ...)
- свертывать набор фильтров по вновь вычисленным активациям (т. е. делать
z2 = w2*a1 + b2
умножения скалярных произведений), гдеz2
есть 3D, иb2
есть смещения. - применить функцию активации (например, ReLu), чтобы сделать
z2
нелинейный (напримерa2 = ReLu(z2)
, гдеa2
3D).
Вопрос
Определение термина «карта характеристик», кажется, варьируется от литературы к литературе. В частности:
- Для 1 - го сверточного слоя, делает «карту функции» соответствует входному вектору
x
, или скалярному произведение выходногоz1
или выходным активацииa1
, или «процесс» , преобразующимx
кa1
, или что - то еще? - Аналогичным образом , для 2 - го сверточного слоя, делает «карты» функции соответствуют входным активациям
a1
или скалярному произведение выходного сигналаz2
, или активацию выходаa2
, или «процесс» преобразование ,a1
чтобыa2
, или что - то еще?
Кроме того, правда ли, что термин «карта объектов» в точности совпадает с термином «карта активации»? (или они на самом деле означают две разные вещи?)
Дополнительные ссылки:
Фрагменты из нейронных сетей и глубокого обучения - Глава 6 :
* Номенклатура здесь используется свободно. В частности, я использую «карту объектов» для обозначения не функции, вычисляемой сверточным слоем, а скорее активации скрытых нейронов, выводимых из слоя. Этот вид умеренного злоупотребления номенклатурой довольно распространен в исследовательской литературе.
Фрагменты из визуализации и понимания сверточных сетей Мэтта Цейлера :
В этой статье мы представляем технику визуализации, которая выявляет входные стимулы, которые возбуждают отдельные карты характеристик на любом слое модели. [...] Наш подход, напротив, предоставляет непараметрическое представление об инвариантности, показывающее, какие шаблоны из обучающего набора активируют карту объектов. [...] локальная контрастная операция, которая нормализует ответы по картам объектов. [...] Чтобы проверить заданную активацию коннета, мы устанавливаем все другие активации в слое на ноль и передаем карты объектов в качестве входных данных на присоединенный уровень деконвнета. [...] В Connet используются нелинейные рефлексы, которые исправляют карты объектов, таким образом гарантируя, что карты объектов всегда положительны. [...] Обман использует обученные фильтры, чтобы свести карты объектов с предыдущего слоя. [...] Рис. 6, эти визуализации являются точным представлением входного шаблона, который стимулирует данную карту объектов в модели [...], когда части исходного входного изображения, соответствующие шаблону, закрыты, мы видим отчетливое снижение активности в карте объектов. [...]
Примечания: также вводятся термины «карта объектов» и «карта исправленных объектов» на рисунке 1.
Отрывки из главы Стэнфорда CS231n на CNN :
[...] Одна опасная ловушка, которую легко заметить с помощью этой визуализации, состоит в том, что некоторые карты активации могут быть все нулевыми для многих различных входных данных, что может указывать на мертвые фильтры, и может быть признаком высокой скорости обучения [...] Типичные активации на первом слое CONV (слева) и на пятом слое CONV (справа) обученного AlexNet, смотрящего на изображение кота. Каждое поле показывает карту активации, соответствующую какому-либо фильтру. Обратите внимание, что активации редки (большинство значений равны нулю, в этой визуализации показано черным цветом) и в основном локальны.
Фрагменты из «Руководства для начинающих A-Beinding-Convolutional-Neural-Networks»
[...] Каждое уникальное место на входной громкости производит число. Проведя фильтр по всем местоположениям, вы обнаружите, что у вас остается массив чисел 28 x 28 x 1, который мы называем картой активации или картой объектов.
a1
, иa2
т.д.). В Conv2, я думаю, я бы назвалa1
входную карту активации иa2
выходную карту активации. В Conv1 у меня естьx
входное изображение иa1
выходная карта активации.прежде чем говорить о том, что означает карта объектов, давайте просто определим термин вектор объектов.
векторный признак - векторное представление объектов. Например, автомобиль может быть представлен [количество колес, двери. окна, возраст .. и т. д.].
Карта объектов - это функция, которая берет векторы объектов в одном пространстве и преобразует их в векторы объектов в другом. Например, учитывая вектор объекта [объем, вес, рост, ширина], он может возвращать [1, объем / вес, рост * ширина] или [рост * ширина] или даже просто [объем]
источник