Вопросы с тегом «batch-normalization»

Статья. В чем разница между нормализацией слоев, периодической нормализацией партии (2016 г.) и нормализованной партией RNN (2015 г.)?

Итак, недавно появилась статья о нормализации слоя . Есть также реализация этого на Керасе. Но я помню, что есть статьи под названием Рекуррентная пакетная нормализация (Cooijmans, 2016) и Пакетная нормализованная рекуррентная нейронная сеть (Laurent, 2015). В чем разница между этими тремя? Есть...

Означает ли пакетная нормализация, что сигмоиды работают лучше, чем ReLU?

Пакетная нормализация и ReLU являются решениями проблемы исчезающего градиента. Если мы используем пакетную нормализацию, должны ли мы тогда использовать сигмоиды? Или есть функции ReLU, которые делают их полезными даже при использовании batchnorm? Я предполагаю, что нормализация, выполненная в...