Вопросы с тегом «activation-function»

13
Как выбрать функцию активации?

Я выбираю функцию активации для выходного слоя в зависимости от того, какой вывод мне нужен, и от свойств функции активации, которые я знаю. Например, я выбираю сигмовидную функцию, когда я имею дело с вероятностями, ReLU, когда я имею дело с положительными значениями, и линейную функцию, когда я...

10
Каковы преимущества ReLU по сравнению с Leaky ReLU и Parametric ReLU (если есть)?

Я думаю, что преимущество использования Leaky ReLU вместо ReLU состоит в том, что таким образом у нас не может быть исчезающего градиента. Параметрический ReLU имеет то же преимущество, с той лишь разницей, что наклон вывода для отрицательных входов является обучаемым параметром, в то время как в...

10
Что означает активация нейрона в нейронной сети?

Я просто наткнулся на концепцию покрытия нейронов, которая представляет собой соотношение активированных нейронов и общего количества нейронов в нейронной сети. Но что значит для нейрона быть «активированным»? Я знаю, что такое функции активации, но что означает активация, например, в случае ReLU...

10
Что происходит, когда я смешиваю функции активации?

Существует несколько функций активации, таких как ReLU, сигмоид или TANHTANH\tanh . Что происходит, когда я смешиваю функции активации? Недавно я обнаружил, что Google разработал функцию активации Swish (x * sigmoid). Изменяя функцию активации, может ли она повысить точность при небольших проблемах...