Вопросы с тегом «normalization»

51
Когда использовать (He или Glorot) нормальную инициализацию поверх равномерного init? И каковы его эффекты с нормализацией партии?

Я знал, что Residual Network (ResNet) сделал обычную инициализацию популярной. В ResNet используется обычная инициализация He , в то время как первый уровень использует равномерную инициализацию He. Я просмотрел документ ResNet и документ «Углубление в выпрямители» (документ об инициализации), но я...

neural-network deep-learning normalization
30
Статья. В чем разница между нормализацией слоев, периодической нормализацией партии (2016 г.) и нормализованной партией RNN (2015 г.)?

Итак, недавно появилась статья о нормализации слоя . Есть также реализация этого на Керасе. Но я помню, что есть статьи под названием Рекуррентная пакетная нормализация (Cooijmans, 2016) и Пакетная нормализованная рекуррентная нейронная сеть (Laurent, 2015). В чем разница между этими тремя? Есть...

deep-learning rnn normalization batch-normalization
19
Способы работы с функцией долготы / широты [закрыто]

Закрыто . Этот вопрос нуждается в деталях или ясности . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Добавьте детали и проясните проблему, отредактировав этот пост . Закрыто 3 года назад . Я работаю над вымышленным набором данных с 25 функциями. Двумя характеристиками...

machine-learning python feature-engineering feature-scaling normalization
15
Как масштабировать массив целых чисел со знаком в диапазоне от 0 до 1?

Я использую мозг для обучения нейронной сети на наборе функций, который включает в себя как положительные, так и отрицательные значения. Но Brain требует входных значений от 0 до 1. Как лучше всего нормализовать мои...

machine-learning neural-network feature-scaling normalization javascript
10
Как нормализовать данные для нейронной сети и леса принятия решений

У меня есть набор данных с 20000 сэмплами, каждый имеет 12 различных функций. Каждая выборка относится к категории 0 или 1. Я хочу обучить нейронную сеть и лес решений для классификации выборок, чтобы можно было сравнить результаты и оба метода. Первое, на что я наткнулся, это правильная...

neural-network decision-trees normalization
10
Нулевое среднее и единичная дисперсия

Я изучаю масштабирование данных, и в частности метод стандартизации. Я понял математику, стоящую за этим, но мне не понятно, почему важно дать функциям нулевое среднее и единичную дисперсию. Можете ли вы объяснить...

machine-learning feature-scaling normalization
9
Означает ли пакетная нормализация, что сигмоиды работают лучше, чем ReLU?

Пакетная нормализация и ReLU являются решениями проблемы исчезающего градиента. Если мы используем пакетную нормализацию, должны ли мы тогда использовать сигмоиды? Или есть функции ReLU, которые делают их полезными даже при использовании batchnorm? Я предполагаю, что нормализация, выполненная в...

deep-learning batch-normalization