119

Ссылаясь на заметки Стэнфордского курса о сверточных нейронных сетях для визуального распознавания , в параграфе говорится:

«К сожалению, юниты ReLU могут быть хрупкими во время обучения и могут« умереть ». Например, большой градиент, протекающий через нейрон ReLU, может привести к тому, что веса обновятся таким образом, что нейрон никогда не активируется ни при каком повторении данных. Если это произойдет случается, тогда градиент, текущий через единицу, всегда будет нулевым с этой точки. То есть единицы ReLU могут необратимо умереть во время обучения, так как они могут быть сбиты с коллектора данных. Например, вы можете обнаружить, что целых 40 % вашей сети может быть «мертвым» (т. е. нейроны, которые никогда не активируются по всему набору обучающих данных), если скорость обучения установлена слишком высокой. При правильной настройке скорости обучения это не так часто ».

Что значит умирать от нейронов здесь?

Не могли бы вы дать интуитивное объяснение в более простых терминах.

machine-learning neural-network deep-learning tejaskhot
источник

2

Может кто-нибудь найти ссылку на какую-нибудь научную статью о «мертвых нейронах»? Поскольку это первый результат попыток Google, было бы здорово, если бы этот вопрос был отредактирован со ссылкой.

Марек Жидек

Можем ли мы предотвратить смещение путем регуляризации для решения этой проблемы?

Лен,

3

Чувак, мне удалось оживить мертвые релейные нейроны, дав новые случайные (нормально распределенные) значения в каждую эпоху для весов <= 0. Я использую этот метод только вместе с замораживающими весами на разных глубинах, так как тренировка продолжается до более высоких эпох (I '). я не уверен, что это то, что мы называем фазовым переходом) Теперь можно использовать более высокие скорости обучения, что дает лучшую общую точность (тестируется только при линейной регрессии). Это действительно легко реализовать.

Бол

1

@boli, можешь рассказать о своей реализации здесь?

ана

121

«Мертвый» ReLU всегда выдает одно и то же значение (ноль, как это бывает, но это не важно) для любого входа. Вероятно, это достигается путем изучения большого отрицательного смещения для его весов.

В свою очередь это означает, что он не играет никакой роли в различении входных данных. Для классификации вы можете визуализировать это как плоскость принятия решений вне всех возможных входных данных.

Как только ReLU окажется в этом состоянии, он вряд ли восстановится, потому что градиент функции в 0 также равен 0, поэтому обучение градиентному спуску не изменит весов. «Утечки» ReLU с небольшим положительным градиентом для отрицательных входных данных ( y=0.01xкогда, скажем, x <0) являются одной из попыток решить эту проблему и дать шанс на восстановление.

Сигмовидные и tanh нейроны могут страдать от подобных проблем, так как их значения насыщаются, но всегда есть хотя бы небольшой градиент, позволяющий им восстановиться в долгосрочной перспективе.

Нил Слэйтер
источник

7

Хороший комментарий, и также стоит упомянуть об экспоненциальных линейных единицах (ELU), которые могут помочь решить эту проблему лучше: arxiv.org/abs/1511.07289

падура

14

@alex: потому что смещение очень важно для точности. Избавиться от предвзятости - это то же самое, что сказать, что все плоскости принятия решений должны проходить через начало координат - за некоторыми исключениями это плохой выбор. Фактически, избавление от терминов смещения в нейронной сети или связанных моделях (таких как линейная регрессия или логистическая регрессия) обычно означает, что ваша модель будет страдать от смещения! Это один из немногих способов, с помощью которых вы можете получить модель, которая одновременно и в нижнем, и в нижнем белье,

Нил Слейтер

1

@ Алекс: Я думаю, что обычно добавляют небольшой положительный уклон к ReLU. Я не знаю, поможет ли это в «умирающей проблеме ReLU» - скорее всего, это не изменит численно значения градиента очень сильно (поскольку для ReLU градиент равен либо 1, либо 0, и когда он равен 1, он может перескочить, небольшой начальный уклон, казалось бы, имеет очень мало значения). В основном, я думаю, что это просто хитрость, чтобы добавить небольшой импульс к начальному обучению, но это может помочь, если начать лучше, и, как правило, раньше снизить градиенты.

Нил Слэйтер

1

@max: Вы пропустили часть моего ответа «для любого ввода». Нет градиент не будет течь к любому весу , связанному с «мертвым» нейроном в прямоточной сети, потому что все пути к этим весам будут вырезать - нет альтернативных путей для градиента протекающего в подмножество весов питающих , что блок РЕЛ. Вы можете просматривать ReLU, например, в CNN или как имеющие общие веса, и в этом случае все местоположения в карте объектов должны будут обнуляться одновременно. Тем не менее, я бы рассматривал это как еще один пример "для любого ввода".

Нил Слэйтер

1

@anu: градиентным спуском. Большой положительный градиент, вызванный большим значением ошибки, может, в свою очередь, привести к тому, что один шаг члена смещения будет достаточно большим, чтобы он «убил» нейрон, чтобы он достиг состояния (для весов и смещений), что будущие входные данные чтобы функция ReLU никогда не поднималась выше 0.

Нил Слейтер

102

Давайте рассмотрим, как выглядит ReLU (выпрямленный линейный блок):

Вход выпрямителя для некоторых входных является для весов , и активаций из предыдущего слоя для этих конкретных входного сигнала . Нейронная функция выпрямителя имеет вид $x_n$

Z_{N} знак равно Σ_{я знак равно 0}^{К} {вес}_{я} a_{я}^{N}

$z_n=\sum_{i=0}^k w_i a^n_i$

w_{i}

$w_i$

a_{i}^{n}

$a^n_i$

x_{n}

$x_n$

R e L U = m a x (0, z_{n})

$ReLU = max(0,z_n)$

Предполагая очень простую меру ошибки

е р р о р знак равно р е L U - Y

$error = ReLU - y$

\frac{\partial е р р о р}{\partial Z_{N}} знак равно δ_{N} знак равно {\begin{array}{cl} 1 & Z_{N} \geq 0 \\ 0 & Z_{N} < 0 \end{array}

$\frac{\partial error}{\partial z_n} = \delta_n = \left\{ \begin{array}{c l} 1 & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$

w_{j}

$w_j$

\nabla е р р о р знак равно \frac{\partial е р р о р}{\partial {вес}_{J}} знак равно \frac{\partial е р р о р}{\partial Z_{N}} \times \frac{\partial Z_{N}}{\partial {вес}_{J}} знак равно δ_{N} \times a_{J}^{N} знак равно {\begin{matrix} a_{J}^{N} & Z_{N} \geq 0 \\ 0 & Z_{N} < 0 \end{matrix}

$\nabla error = \frac{\partial error}{\partial w_j}=\frac{\partial error}{\partial z_n} \times \frac{\partial z_n}{\partial w_j} = \delta_n \times a_j^n = \left\{ \begin{array}{c 1} a_j^n & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$

$=$ $x_n$

$x_n$ $x_*$

$z_n < 0$

$ReLU=max(0.1x,x)$

MohamedEzz
источник

Разве вы не забыли термин смещения в формуле для ввода в выпрямитель?

Том Хейл,

Я думаю, что следовал обозначениям некоторых учебников, которые предполагают, что a_0 = 1 для всех слоев, а w_0 - это смещение. Уклон не важен, так что лучше все равно его опускать

MohamedEzz

@ MohamedEzz, я не понял твою точку зрения

What if, for the input 𝑥𝑛, the current weights put the ReLU on the left flat side while it optimally should be on the right side for this particular input ?

, если вход отрицательный, градиент будет 0? что оптимально для этого случая? Не могли бы вы помочь понять это?

ана

1

Оптимальным я имел в виду, что если бы сеть делала лучший прогноз для этого входа, ей нужно было отрегулировать веса так, чтобы ReLU давал положительное значение, он не смог бы выполнить эту настройку из-за имеющегося у него градиента 0. на плоской стороне.

MohamedEzz

Удивительный ответ. Спасибо

Дэвид Рафаэли

13

Нейроны ReLU выводят ноль и имеют нулевые производные для всех отрицательных входов. Таким образом, если весовые коэффициенты в вашей сети всегда приводят к отрицательным входам в нейрон ReLU, этот нейрон фактически не способствует обучению сети. Математически вклад градиента в обновления веса, приходящий от этого нейрона, всегда равен нулю (некоторые детали см. В математическом приложении).

$L(W)$ $L$ $L$ $W$ $L$

В целом, что происходит, зависит от того, как информация проходит через сеть. Вы можете себе представить, что в процессе обучения значения, которые производят нейроны, могут смещаться и позволять весам уничтожать весь поток данных через некоторые из них. (Иногда они могут оставить эти неблагоприятные конфигурации из-за более ранних обновлений в сети!). Я исследовал эту идею в своем блоге о инициализации веса - что также может способствовать этой проблеме - и ее связи с потоком данных. Я думаю, что моя точка зрения может быть проиллюстрирована сюжетом из этой статьи:

Активации в MLP ReLU с различными стратегиями инициализации

На графике отображаются активации в 5-слойном многоуровневом персептроне с активациями ReLU после одного прохода по сети с различными стратегиями инициализации. Вы можете видеть, что в зависимости от конфигурации весов выходы вашей сети могут быть перекрыты.

Математическое приложение

$L$ $x_j^{(i)}$ $j$ $i$ $f(s) = \max(0, s)$ $s^{(i)}_j$ $(i+1)$ $i$ $(i+1)$

\frac{\partial L}{\partial {вес}_{J К}^{(я)}} знак равно \frac{\partial L}{\partial {Икс}_{К}^{(я + 1)}} \frac{\partial {Икс}_{К}^{(я + 1)}}{\partial {вес}_{J К}^{(я)}},

$\frac{\partial L}{\partial w_{jk}^{(i)}} = \frac{\partial L}{\partial x_k^{(i+1)}} \frac{\partial x_k^{(i+1)}}{\partial w_{jk}^{(i)}}\,.$

$w_{jk}^{(i)}$

\begin{aligned} \frac{\partial {Икс}_{К}^{(я + 1)}}{\partial {вес}_{J К}^{(я)}} & знак равно \frac{\partial е (s_{J}^{(я)})}{\partial s_{J}^{(я)}} \frac{\partial s_{J}^{(я)}}{\partial {вес}_{J К}^{(я)}} \\ знак равно е^{'} (s_{J}^{(я)}) {Икс}_{J}^{(я)}, \end{aligned}

$\begin{align*} \frac{\partial{x_k^{(i+1)}}}{\partial w_{jk}^{(i)}} &= \frac{\partial{f(s^{(i)}_j)}}{\partial s_j^{(i)}} \frac{\partial s_j^{(i)}}{\partial w_{jk}^{(i)}} \\ &=f'(s^{(i)}_j)\, x_j^{(i)}. \end{align*}$

Из этого вы можете видеть, что если выходные данные всегда отрицательны, веса, ведущие к нейрону, не обновляются, и нейрон не способствует обучению.

Андре П
источник

отличное объяснение !, не могли бы вы помочь мне понять,

Therefore, if your inputs are on roughly the same scale, a large step in the direction of the gradient can leave you with weights that give similar inputs which can end up being negative.

как веса становятся отрицательными, если входные данные нормализованы?

ана

w - λ \cdot d w

$w - \lambda \cdot \mathrm dw$

λ

$\lambda$

d w

$\mathrm dw$

w

$w$

@JohnsonJia, отлично, я понял :), нужно еще одно уточнение, почему это особенно плохо в случае смещения по сравнению с весом, поскольку отрицательный вклад может быть связан как с весом, так и смещением, поправьте меня, если я ошибаюсь.?

ана

z = w \cdot x + b

$z = w \cdot x + b$

b

$b$

z

$z$

x

$x$

5

$1$

$w_i$ $w_i$

Misairu
источник

4

«Dying ReLU» относится к нейрону, который выводит 0 для ваших данных в тренировочном наборе. Это происходит потому, что сумма весовых * входов в нейроне (также называемая активацией ) становится <= 0 для всех входных паттернов. Это приводит к тому, что ReLU выдает 0. Поскольку производная от ReLU равна 0, в этом случае обновления веса не производятся, и нейрон застревает при выводе 0.

Что следует отметить:

Умирающий ReLU не означает, что выход нейрона также останется нулевым во время теста. В зависимости от различий в распределении это может иметь место или не иметь место.
Умирающий ReLU не является постоянно мертвым. Если вы добавите новые данные о тренировках или используете предварительно обученную модель для нового обучения, эти нейроны могут дать ответный удар!
Технически Dying ReLU не должен выводить 0 для ВСЕХ тренировочных данных. Может случиться, что он выводит ненулевое значение для некоторых данных, но количество эпох недостаточно для значительного перемещения весов.

Шиталь шах
источник

В чем проблема «умирающего ReLU» в нейронных сетях?

Ответы:

Математическое приложение