Вопросы с тегом «batch-normalization»

Я читал статью о пакетной нормализации (BN) (1) и не понимал необходимости использовать скользящие средние для отслеживания точности модели, и даже если я признал, что это было правильно, я не понимаю что они делают точно. Насколько я понимаю (что я могу ошибаться), в статье упоминается, что она...

Насколько я понимаю, пакетная норма нормализует все входные объекты слоя до единичного нормального распределения, N( μ = 0 , σ= 1 )N(μзнак равно0,σзнак равно1)\mathcal{N}(\mu=0,\sigma=1) . Среднее значение и дисперсия оцениваются путем измерения их значений для текущей мини-партии.μ , σ2μ,σ2\mu,...

Нормализация партии была приписана существенным улучшениям производительности в глубоких нейронных сетях. Много материала в интернете показывает, как реализовать его на основе активации за активацию. Я уже реализовал backprop, используя матричную алгебру, и учитывая, что я работаю на языках...