Вопросы с тегом «deep-learning»

16
Объяснение Пиков в потере обучения против итераций с Adam Optimizer

Я тренирую нейронную сеть, используя i) SGD и ii) Adam Optimizer. При использовании обычного SGD я получаю плавную кривую потери обучения и итерации, как показано ниже (красная). Тем не менее, когда я использовал Adam Optimizer, кривая тренировочных потерь имела некоторые всплески. Чем объясняются...

16
Современные случаи использования машин Больцмана с ограничениями (RBM)?

Справочная информация: Многие современные исследования за последние ~ 4 года (post alexnet ), похоже, отошли от использования генеративной предварительной подготовки для нейронных сетей для достижения современных результатов классификации. Например, лучшие результаты для mnist здесь включают только...

15
Сколько данных вам нужно для сверточной нейронной сети?

Если у меня есть сверточная нейронная сеть (CNN), которая имеет около 1 000 000 параметров, сколько нужно обучающих данных (предположим, я делаю стохастический градиентный спуск)? Есть ли эмпирическое правило? Дополнительные примечания: Когда я выполнил стохастический градиентный спуск (например,...

15
Как CNN's избегают исчезающей проблемы градиента

Я много читал о сверточных нейронных сетях и удивлялся, как они избегают исчезающей проблемы градиента. Я знаю, что сети глубокого убеждения объединяют одноуровневые автокодеры или другие предварительно обученные мелкие сети и, таким образом, могут избежать этой проблемы, но я не знаю, как этого...

15
Что такое ошибка Байеса в машинном обучении?

http://www.deeplearningbook.org/contents/ml.html Page 116 объясняет ошибку Байеса, как показано ниже Идеальная модель - это оракул, который просто знает истинное распределение вероятностей, которое генерирует данные. Даже такая модель по-прежнему будет вызывать некоторые ошибки во многих проблемах,...

15
Что измерение VC говорит нам о глубоком обучении?

В базовом машинном обучении нас учат следующим «правилам большого пальца»: а) размер ваших данных должен как минимум в 10 раз превышать размер VC вашего набора гипотез. б) нейронная сеть с N соединениями имеет размерность VC приблизительно N. Итак, когда в нейронной сети с глубоким обучением...

15
Какова допустимая длина последовательности для RNN для моделирования?

Я изучаю использование LSTM ( долговременной кратковременной памяти ) версии рекуррентной нейронной сети (RNN) для моделирования данных временных рядов. По мере увеличения длины последовательности данных сложность сети возрастает. Поэтому мне любопытно, какую длину последовательностей можно было бы...

15
Нейронные сети против всего остального

Я не нашел удовлетворительного ответа на этот вопрос от Google . Конечно, если у меня есть данные порядка нескольких миллионов, то глубокое обучение - это путь. И я прочитал, что, когда у меня нет больших данных, тогда, возможно, лучше использовать другие методы в машинном обучении. Приведенная...

15
Что такое временная классификация коннекционистов (CTC)?

Я ищу проект оптического распознавания символов (OCR). После некоторых исследований я натолкнулся на интересную архитектуру: CNN + RNN + CTC. Я знаком с извилистыми нейронными сетями (CNN) и рекуррентными нейронными сетями (RNN), но что такое временная классификация Connectionist (CTC)? Я хотел бы...

15
Что такое * искусственная нейронная сеть?

Когда мы углубимся в литературу по нейронным сетям , мы сможем идентифицировать другие методы с нейроморфными топологиями (архитектура, подобная «нейронной сети»). И я не говорю о теореме универсального приближения . Примеры приведены ниже. Тогда это заставляет меня задуматься: каково определение...

15
Почему это предсказание временного ряда «довольно плохое»?

Я пытаюсь научиться использовать нейронные сети. Я читал этот урок . После подбора нейронной сети по временному ряду, используя значение в для прогнозирования значения в момент времени t + 1, автор получает следующий график, где синяя линия - это временной ряд, зеленый - это прогноз данных поезда,...

15
Какова «мощность» модели машинного обучения?

Я изучаю этот урок по вариационным автоэнкодерам Карла Доерша . На второй странице говорится: Одним из наиболее популярных таких фреймворков является Variational Autoencoder [1, 3], предмет данного руководства. Предположения этой модели являются слабыми, и обучение происходит быстро с помощью...

14
Есть ли какая-то разница между обучением сложному автоэнкодеру и двухслойной нейронной сети?

Допустим, я пишу алгоритм построения двухуровневого сложного автоэнкодера и двухслойной нейронной сети. Это одни и те же вещи или разница? Что я понимаю, так это то, что когда я строю сложенный автоэнкодер, я буду строить слой за слоем. Для нейронной сети я бы инициализировал все параметры в...

14
Глубокие нейронные сети - только для классификации изображений?

Все примеры, которые я нашел, используя глубокие убеждения или сверточные нейронные сети, используют их для классификации изображений, распознавания разговоров или распознавания речи. Полезны ли глубокие нейронные сети для классических задач регрессии, где функции не структурированы (например, не...

14
Как реализован Spatial Dropout в 2D?

Это относится к статье « Эффективная локализация объектов с использованием сверточных сетей» , и, насколько я понимаю, выпадение реализовано в 2D. После прочтения кода из Keras о том, как реализован пространственный выпадение 2D, в основном реализована случайная двоичная маска формы [batch_size, 1,...

14
Почему мы не используем непостоянную скорость обучения для градиента, приличного для вещей, отличных от нейронных сетей?

Глубокая учебная литература полна умных трюков с использованием непостоянных скоростей обучения при градиентном спуске. Такие вещи, как экспоненциальный распад, RMSprop, Adagrad и т. Д., Легко реализовать и они доступны в каждом пакете глубокого обучения, но, похоже, их не существует за пределами...

14
Почему нейронные сети нуждаются в выборе функций / проектировании?

В частности, в контексте соревнований по догонялкам, я заметил, что производительность модели - это выбор функций / разработка. Хотя я могу полностью понять, почему это происходит в случае с более традиционными алгоритмами ML старой школы, я не понимаю, почему это было бы так при использовании...

13
Может ли нейронная сеть (например, сверточная нейронная сеть) иметь отрицательные веса?

Можно ли иметь отрицательные веса (после достаточного количества эпох) для глубоких сверточных нейронных сетей, когда мы используем ReLU для всех уровней