Глубокая нейронная сеть - обратная связь с ReLU

У меня есть некоторые трудности с получением обратного распространения с помощью ReLU, и я проделал некоторую работу, но я не уверен, что я на правильном пути.

Функция стоимости: $\frac{1}{2}(y-\hat y)^2$где$y$представляет собой реальное значение, и у представляет собой предсказанное значение. Также предположим, чтоx> 0 всегда.$\hat y$$x$

1 слой ReLU, где вес на 1-м слое равен $w_1$

$\frac{dC}{dw_1}=\frac{dC}{dR}\frac{dR}{dw_1}$

$\frac{dC}{w_1}=(y-ReLU(w_1x))(x)$

2 слой ReLU, где весовые коэффициенты на 1-м слое $w_2$ , а на 2-м слое - $w_1$ И я хотел обновить 1-й слой $w_2$

$\frac{dC}{dw_2}=\frac{dC}{dR}\frac{dR}{dw_2}$

$\frac{dC}{w_2}=(y-ReLU(w_1*ReLU(w_2x))(w_1x)$

Поскольку $ReLU(w_1*ReLU(w_2x))=w_1w_2x$

Трехуровневый ReLU, где весовые коэффициенты на 1-м уровне , 2-го уровня w 2 и 3-го уровня w $w_3$$w_2$$w_1$

$\frac{dC}{dw_3}=\frac{dC}{dR}\frac{dR}{dw_3}$

$\frac{dC}{w_3}=(y-ReLU(w_1*ReLU(w_2(*ReLU(w_3)))(w_1w_2x)$

Поскольку $ReLU(w_1*ReLU(w_2(*ReLU(w_3))=w_1w_2w_3x$

Так как правило цепочки действует только с 2 производными, по сравнению с сигмоидом, который может быть до слоев.$n$

Скажем, я хотел обновить все 3 веса слоя, где - 3-й слой, w 2 - 2 -й слой, $w_1$$w_2$ - 3-й слой$w_1$

$\frac{dC}{w_1}=(y-ReLU(w_1x))(x)$

$\frac{dC}{w_2}=(y-ReLU(w_1*ReLU(w_2x))(w_1x)$

$\frac{dC}{w_3}=(y-ReLU(w_1*ReLU(w_2(*ReLU(w_3)))(w_1w_2x)$

Если этот вывод правильный, как это предотвращает исчезновение? По сравнению с сигмоидом, где в уравнении мы много умножаем на 0,25, тогда как ReLU не имеет никакого умножения на постоянное значение. Если есть тысячи слоев, будет много умножения из-за весов, то не приведет ли это к исчезновению или взрыву градиента?

Рабочие определения функции ReLU и ее производной:

$ReLU(x) = \begin{cases} 0, & \text{if } x < 0, \\ x, & \text{otherwise}. \end{cases}$

$\frac{d}{dx} ReLU(x) = \begin{cases} 0, & \text{if } x < 0, \\ 1, & \text{otherwise}. \end{cases}$

Производная - это функция единичного шага . Это игнорирует проблему при $x=0$ , где градиент не является строго определенным, но это не является практической проблемой для нейронных сетей. В приведенной выше формуле производная на 0 равна 1, но вы можете также рассматривать ее как 0 или 0,5 без реального влияния на производительность нейронной сети.

Упрощенная сеть

С этими определениями, давайте посмотрим на ваши примеры сетей.

Вы выполняете регрессию с функцией затрат $C = \frac{1}{2}(y-\hat{y})^2$. Вы определили$R$как выход искусственного нейрона, но вы не определили входное значение. Я добавлю это для полноты - назовите его$z$, добавьте индексирование по слоям, и я предпочитаю строчные для векторов и строчные для матриц, так что$r^{(1)}$вывод первого слоя,$z^{(1)}$ для его вход и$W^{(0)}$ для весасоединяющего нейрон на его вход$x$(в большой сети, которые могут подключаться к более глубокому$r$значение вместо). Я также скорректировал номер индекса для весовой матрицы - почему это станет понятнее для большой сети. NB. На данный момент я игнорирую наличие большего количества нейронов в каждом слое.

Глядя на вашу простую 1 слой, 1 нейронную сеть, уравнения прямой связи:

$z^{(1)} = W^{(0)}x$

$\hat{y} = r^{(1)} = ReLU(z^{(1)})$

Производная функции стоимости по примерной оценке:

$\frac{\partial C}{\partial \hat{y}} = \frac{\partial C}{\partial r^{(1)}} = \frac{\partial}{\partial r^{(1)}}\frac{1}{2}(y-r^{(1)})^2 = \frac{1}{2}\frac{\partial}{\partial r^{(1)}}(y^2 - 2yr^{(1)} + (r^{(1)})^2) = r^{(1)} - y$

Использование правила цепочки для обратного распространения до значения перед преобразованием ( $z$ ):

$\frac{\partial C}{\partial z^{(1)}} = \frac{\partial C}{\partial r^{(1)}} \frac{\partial r^{(1)}}{\partial z^{(1)}} = (r^{(1)} - y)Step(z^{(1)}) = (ReLU(z^{(1)}) - y)Step(z^{(1)})$

Это $\frac{\partial C}{\partial z^{(1)}}$ является промежуточным этапом и критической частью backprop, связывающих шаги вместе. Производные часто пропускают эту часть, потому что умные комбинации функции стоимости и выходного слоя означают, что это упрощено. Здесь это не так.

Чтобы получить градиент по отношению к весу $W^{(0)}$ , это еще одна итерация правила цепочки:

$\frac{\partial C}{\partial W^{(0)}} = \frac{\partial C}{\partial z^{(1)}} \frac{\partial z^{(1)}}{\partial W^{(0)}} = (ReLU(z^{(1)}) - y)Step(z^{(1)})x = (ReLU(W^{(0)}x) - y)Step(W^{(0)}x)x$

, , , потому что $z^{(1)} = W^{(0)}x$ следовательно,$\frac{\partial z^{(1)}}{\partial W^{(0)}} = x$

Это полное решение для вашей простейшей сети.

Однако в многоуровневой сети вам также необходимо перенести ту же логику на следующий уровень. Кроме того, у вас обычно есть более одного нейрона в слое.

Более общая сеть ReLU

Если мы добавим более общие термины, то мы можем работать с двумя произвольными слоями. Назовите их Layer $(k)$ проиндексированными по $i$ , а Layer $(k+1)$ проиндексирован по $j$ . Веса теперь представляют собой матрицу. Итак, наши уравнения прямой связи выглядят так:

$z^{(k+1)}_j = \sum_{\forall i} W^{(k)}_{ij}r^{(k)}_i$

$r^{(k+1)}_j = ReLU(z^{(k+1)}_j)$

$r^{output}_j$$r^{output}_j - y_j$, Однако проигнорируйте это сейчас и посмотрите на общий способ обратного распространения, предполагая, что мы уже нашли$\frac{\partial C}{\partial r^{(k+1)}_j}$ - just note that this is ultimately where we get the output cost function gradients from. Then there are 3 equations we can write out following the chain rule:

First we need to get to the neuron input before applying ReLU:

1. $\frac{\partial C}{\partial z^{(k+1)}_j} = \frac{\partial C}{\partial r^{(k+1)}_j} \frac{\partial r^{(k+1)}_j}{\partial z^{(k+1)}_j} = \frac{\partial C}{\partial r^{(k+1)}_j}Step(z^{(k+1)}_j)$

We also need to propagate the gradient to previous layers, which involves summing up all connected influences to each neuron:

2. $\frac{\partial C}{\partial r^{(k)}_i} = \sum_{\forall j} \frac{\partial C}{\partial z^{(k+1)}_j} \frac{\partial z^{(k+1)}_j}{\partial r^{(k)}_i} = \sum_{\forall j} \frac{\partial C}{\partial z^{(k+1)}_j} W^{(k)}_{ij}$

And we need to connect this to the weights matrix in order to make adjustments later:

3. $\frac{\partial C}{\partial W^{(k)}_{ij}} = \frac{\partial C}{\partial z^{(k+1)}_j} \frac{\partial z^{(k+1)}_j}{\partial W^{(k)}_{ij}} = \frac{\partial C}{\partial z^{(k+1)}_j} r^{(k)}_{i}$

You can resolve these further (by substituting in previous values), or combine them (often steps 1 and 2 are combined to relate pre-transform gradients layer by layer). However the above is the most general form. You can also substitute the $Step(z^{(k+1)}_j)$ in equation 1 for whatever the derivative function is of your current activation function - this is the only place where it affects the calculations.

Back to your questions:

If this derivation is correct, how does this prevent vanishing?

Your derivation was not correct. However, that does not completely address your concerns.

The difference between using sigmoid versus ReLU is just in the step function compared to e.g. sigmoid's $y(1-y)$, наносится один раз на слой. Как видно из приведенных выше общих послойных уравнений, градиент передаточной функции появляется только в одном месте. Лучшая производная сигмоида добавляет коэффициент 0,25 (когда$x = 0, y = 0.5$), и это становится еще хуже, и быстро насыщается до почти нулевой производной от $x=0$, Градиент ReLU равен либо 0, либо 1, а в исправной сети достаточно 1, чтобы иметь меньшие потери градиента во время обратного распространения. Это не гарантируется, но эксперименты показывают, что ReLU имеет хорошую производительность в глубоких сетях.

Если есть тысячи слоев, будет много умножения из-за весов, то не приведет ли это к исчезновению или взрыву градиента?

Да, это тоже может оказать влияние. Это может быть проблемой независимо от выбора передаточной функции. В некоторых комбинациях ReLU может также помочь контролировать взрывающиеся градиенты, потому что он не насыщает (так что большие весовые нормы, как правило, являются плохими прямыми решениями, и оптимизатор вряд ли будет двигаться к ним). Однако это не гарантируется.