Почему максимальный пул необходим в сверточных нейронных сетях?

18

Наиболее распространенные сверточные нейронные сети содержат слои пула для уменьшения размеров выходных объектов. Почему я не могу достичь того же, просто увеличив шаг сверточного слоя? Что делает необходимым объединение слоев?

deep-learning conv-neural-network pooling user3667089
источник

Ответы:

16

Вы действительно можете это сделать, см. « Стремление к простоте: вся сверточная сеть» . Объединение в пул дает вам некоторую инвариантность перевода, которая может быть полезной, а может и не быть. Кроме того, пул вычисляется быстрее, чем свертки. Тем не менее, вы всегда можете попробовать заменить пул сверткой на шаг и посмотреть, что работает лучше.

Некоторые текущие работы используют средний пул ( Wide Residual Networks , DenseNets ), другие используют свертку с шагом ( DelugeNets )

robintibor
источник
Я спросил одного из моих друзей об этом, и он сказал, что объединяющие слои лучше, потому что это вводит нелинейность. Вы согласны?
user3667089
7
Хм, не уверен, что я согласен. Некоторая нелинейность уже присутствует в сетях через функции активации. Среднее объединение также не вносит никакой дополнительной нелинейности, это линейная операция, поэтому только максимальное объединение является нелинейным. И я думаю, что вопрос больше, если вы хотите, чтобы регуляризация, которую приносит вам пул, - немного больше поступательной инвариантности.
robintibor
4

Очевидно, что максимальный пул помогает, потому что он извлекает самые резкие особенности изображения. Таким образом, для данного изображения самые четкие характеристики - лучшее представление изображения на нижнем уровне. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

Но в соответствии с лекцией Эндрю Нга по глубокому обучению, максимальное объединение работает хорошо, но никто не знает почему. Цитата -> «Но я должен признать, я думаю, что главная причина, по которой люди используют максимальный пул, заключается в том, что во многих экспериментах было обнаружено, что он хорошо работает ... Я не знаю, кто знает, насколько это реально. основная причина. "

И Сян Чонг
источник