Что происходит, когда я смешиваю функции активации?
Существует несколько функций активации, таких как ReLU, сигмоид или TANHTANH\tanh . Что происходит, когда я смешиваю функции активации? Недавно я обнаружил, что Google разработал функцию активации Swish (x * sigmoid). Изменяя функцию активации, может ли она повысить точность при небольших проблемах...