В чем разница между LeakyReLU и PReLU?

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

Керас, однако, выполняет обе функции в документах .

Leaky ReLU

Источник LeakyReLU :

return K.relu(inputs, alpha=self.alpha)

Следовательно (см. Код relu )

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

Источник PRELU :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Следовательно,

f_{2} (x) = max (0, x) - α max (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

Вопрос

Я что-то не так понял? Разве и эквивалентны (при условии ?) $f_1$ $f_2$ $f$ $\alpha \in (0, 1)$

neural-network Мартин Тома
источник

Ответы:

Прямо из Википедии :

Утечки ReLU допускают небольшой ненулевой градиент, когда устройство не активно.
Параметрические ReLU развивают эту идею, превращая коэффициент утечки в параметр, который изучается вместе с другими параметрами нейронной сети.

Томас В.
источник

Ах, спасибо, я всегда забываю, что у Leaky ReLU есть как гиперпараметр, а у Parametric ReLU есть как параметр.

α

$\alpha$

α

$\alpha$

Мартин Тома,

Для Google-вещи: все в порядке . (Кстати, для меня этот вопрос является третьим результатом для «Leaky ReLU vs PReLU»)

Мартин Тома,

@MartinThoma правда! Никаких обид за это! То, как я нашел ответ, было довольно глупо; Я не знал, что такое «P» в PReLU, поэтому я понял это, а затем попытался выяснить, что такое PReLU, просто набрав «Parametric ReLU», и я попал на страницу википедии. Я узнал кое-что сегодня из-за твоего вопроса;)

Томас В.

Ницца. Вот как это должно быть :-) В этом случае мой небольшой обзор функции активации может быть интересен и для вас. Статья (частично) на немецком языке, но я думаю, что для этой части это не должно иметь значения

Мартин Тома