Уровень техники нелинейности заключается в использовании выпрямленных линейных единиц (ReLU) вместо сигмовидной функции в глубокой нейронной сети. Каковы преимущества? Я знаю, что тренировка сети при использовании ReLU будет быстрее, и она будет более биологически вдохновленной, каковы другие...