Может ли нейронная сеть (например, сверточная нейронная сеть) иметь отрицательные веса?

Можно ли иметь отрицательные веса (после достаточного количества эпох) для глубоких сверточных нейронных сетей, когда мы используем ReLU для всех уровней активации?

Выпрямленные линейные единицы (ReLU) только делают выход нейронов неотрицательным. Однако параметры сети могут и будут становиться положительными или отрицательными в зависимости от данных обучения.

Вот две причины, о которых я могу думать прямо сейчас, которые обосновывают (интуитивно), почему некоторые параметры становятся отрицательными:

1. регуляризация параметров (ака снижение веса); изменение значений параметров делает прогнозирование возможным, и если параметры сосредоточены вокруг нуля (т.е. их среднее значение близко к нулю), то их норма (которая является стандартным регуляризатором) является низкой.$\ell 2$

2. хотя градиенты вывода уровня относительно параметров слоя зависят от входа в уровень (который всегда положителен, если предыдущий уровень передает свои выходы через ReLU), градиент ошибки (который возникает от слоев ближе к конечным выходным слоям) может быть положительным или отрицательным, что позволяет SGD сделать некоторые из значений параметров отрицательными после выполнения следующего шага градиента. Более конкретно, позвольте , , иO $I$$O$$w$ обозначают вход, выход и параметры слоя в нейронной сети. Кроме того, пусть будет последней ошибкой сети, вызванной некоторой обучающей выборкой. Градиент ошибки по отношению к ш вычисляется как $E$$w$ ; обратите внимание, чтоOk=O,∀k(см. рисунок ниже):$\frac{\partial E}{\partial w} = \left( \sum_{k=1}^K\frac{\partial E}{\partial O_k} \right) \cdot \frac{\partial O_k}{\partial w}$$O_k = O, \forall k$

Представьте, что у вас есть оптимальные веса, которые все неотрицательны.

$x'_i = -x_i$$\{x'_i,y\}$

Если вы не используете другую функцию активации, например, Leaky ReLU. Исправленные веса слоев после первого неотрицательны независимо от того, сколько эпох в тренировке.