Backprop через слои максимального пула?

Это небольшой концептуальный вопрос, который мучил меня некоторое время: как мы можем распространяться обратно через слой максимального пула в нейронной сети?

Я наткнулся на слои с максимальным объединением, проходя этот урок для библиотеки nn в Torch 7. Библиотека абстрагирует вычисление градиента и прямые проходы для каждого слоя глубокой сети. Я не понимаю, как вычисляется градиент для слоя с максимальным пулом.

Я знаю, что если у вас есть вход входящий в нейрон слоя , то (определяется как ${z_i}^l$ $i$ $l$ ${\delta_i}^l$ ) определяется как: ${\delta_i}^l = \frac{\partial E}{\partial {z_i}^l}$

{δ_{i}}^{l} = θ^{^{'}} ({z_{i}}^{l}) \sum_{j} {δ_{j}}^{l + 1} w_{i, j}^{l, l + 1}

${\delta_i}^l = \theta^{'}({z_i}^l) \sum_{j} {\delta_j}^{l+1} w_{i,j}^{l,l+1}$

Таким образом, слой с максимальным пулом получит следующего слоя, как обычно; но поскольку функция активации для нейронов с максимальным пулом принимает вектор значений (по которым она достигает максимума) в качестве входных данных, больше не является одним числом, а вектором ( ${\delta_j}^{l+1}$ ${\delta_i}^{l}$ должно быть заменено на). Кроме того,, будучи функцией max, не дифференцируема по отношению к своим входам. $\theta^{'}({z_j}^l)$ $\nabla \theta(\left\{{z_j}^l\right\})$ $\theta$

Так .... как это должно сработать?

neural-network backpropagation shinvu
источник

Ответы:

Нет градиента по отношению к не максимальным значениям, так как их небольшое изменение не влияет на вывод. Кроме того, макс локально линейен с наклоном 1 относительно входа, который фактически достигает макс. Таким образом, градиент от следующего слоя передается обратно только к тому нейрону, который достиг максимума. Все остальные нейроны получают нулевой градиент.

Таким образом , в вашем примере, бы вектор из всех нулей, за исключением того, что е место получит значения , где $\delta_i^l$ $i^*$ $\left\{\delta_j^{l+1}\right\}$ $i^* = argmax_{i} (z_i^l)$

Abora
источник

Ах да, нет никакого смысла в обратном распространении через не максимальные нейроны - это было решающее понимание. Так что, если я теперь понимаю это правильно, обратное распространение через слой max-pooling просто выбирает max. нейрон из предыдущего слоя (на котором был сделан максимальный пул) и продолжает обратное распространение только через это.

Shinvu

Но вам не нужно умножать с производной функции активации?

Джейсон

@Jason: функция max локально линейна для активации, которая получила максимум, поэтому ее производная постоянна 1. Для активаций, которые не прошли через нее, она равна 0. Это концептуально очень похоже на дифференцирование ReLU (x ) = max (0, x) функция активации.

Криги

Какой шаг меньше ширины ядра для максимального пула?

Ватсал

Отличный ответ! Как насчет граничного случая, когда несколько записей имеют одинаковое максимальное значение (например, 2 значения имеют 0 от ReLU, а два других являются отрицательными)?

DankMasterDan

Макс пулинг

Итак, предположим, у вас есть слой P, который идет поверх слоя PR. Тогда прямой проход будет примерно таким:

$P_i = f(\sum_j W_{ij} PR_j)$

$P_i$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$

$f = id$ $f = 0$ $f^\prime = 1$ $f^\prime = 0$

$grad(PR_{max\ neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$

$grad(PR_{others}) = 0.$

patapouf_ai
источник

Ответ @ Shinvu хорошо написан, я хотел бы указать на видео, которое объясняет градиент операции Max (), и это в вычислительном графе, который быстро понять.!

при реализации операции maxpool (вычислительный узел в вычислительном графе - ваша архитектура NN) нам нужна функция, создающая матрицу «маски», которая отслеживает, где находится максимум матрицы. True (1) указывает положение максимума в X, остальные записи - False (0). Мы отслеживаем положение максимума, потому что это входное значение, которое в конечном итоге повлияло на выход, и, следовательно, на стоимость. Backprop вычисляет градиенты по отношению к стоимости, поэтому все, что влияет на конечную стоимость, должно иметь ненулевой градиент. Таким образом, backprop будет «распространять» градиент обратно к этому конкретному входному значению, которое повлияло на стоимость.

ана
источник