Каковы преимущества ReLU по сравнению с Leaky ReLU и Parametric ReLU (если есть)?
Я думаю, что преимущество использования Leaky ReLU вместо ReLU состоит в том, что таким образом у нас не может быть исчезающего градиента. Параметрический ReLU имеет то же преимущество, с той лишь разницей, что наклон вывода для отрицательных входов является обучаемым параметром, в то время как в...