Вопросы с тегом «deep-learning»

21
Повышение нейронных сетей

В последнее время я работал над алгоритмами повышения обучаемости, такими как adaboost, ускорение градиента, и я знал тот факт, что наиболее часто используемым слабым учеником являются деревья. Я действительно хочу знать, есть ли некоторые недавние успешные примеры (я имею в виду некоторые статьи...

20
В чем разница между инициализатором масштабирования дисперсии и инициализатором xavier?

Я обнаружил, что в реализации ResNet от Tensorflow они используют инициализатор дисперсионного масштабирования, а также популярный инициализатор xavier . У меня нет большого опыта в этом, что лучше на...

20
Где и почему глубокое обучение сияет?

Со всеми разговорами в средствах массовой информации и шумихой о глубоком изучении в эти дни я прочитал некоторые элементарные вещи об этом. Я только что обнаружил, что это просто еще один метод машинного обучения для изучения шаблонов на основе данных. Но мой вопрос: где и почему этот метод...

20
Как правильно использовать раннюю остановку для тренировки глубокой нейронной сети?

У меня есть модель глубокой нейронной сети, и мне нужно обучить ее на моем наборе данных, который состоит из около 100 000 примеров, мои данные проверки содержат около 1000 примеров. Поскольку для обучения каждого примера требуется время (около 0,5 с для каждого примера) и во избежание...

20
В нейронных сетях зачем использовать градиентные методы, а не другие метаэвристики?

Почему в обучении глубоких и неглубоких нейронных сетей обычно используются градиентные методы (например, градиентный спуск, Нестеров, Ньютон-Рафсон), а не другие метаэвристики? Под метаэвристикой я подразумеваю такие методы, как имитация отжига, оптимизация колоний муравьев и т. Д., Которые были...

19
Когда я должен использовать вариационный авто-кодер, а не авто-кодер?

Я понимаю основную структуру вариационного автоэнкодера и нормального (детерминированного) автоэнкодера и математическую схему, стоящую за ними, но когда и почему я предпочел бы один тип автоэнкодера другому? Все, о чем я могу думать, - это предварительное распределение скрытых переменных...

19
Важность узла смещения в нейронных сетях

Мне любопытно узнать, насколько важен узел смещения для эффективности современных нейронных сетей. Я легко могу понять, что это может быть важно в мелкой сети с несколькими входными переменными. Однако современные нейронные сети, такие как глубокое обучение, часто имеют большое количество входных...

19
В чем разница между «трансферным обучением» и «адаптацией предметной области»?

Есть ли разница между «трансферным обучением» и «адаптацией предметной области»? Я не знаю насчет контекста, но, насколько я понимаю, у нас есть некоторый набор данных 1, и мы обучаем его, после чего у нас есть еще один набор данных 2, для которого мы хотим адаптировать нашу модель без переобучения...

18
Глубокое обучение против деревьев решений и методов повышения

Я ищу статьи или тексты, которые сравнивают и обсуждают (эмпирически или теоретически): Алгоритмы деревьев повышения и принятия решений , такие как Random Forests или AdaBoost , и GentleBoost, применяются к деревьям решений. с Методы глубокого обучения, такие как ограниченные машины Больцмана ,...

18
Почему максимальный пул необходим в сверточных нейронных сетях?

Наиболее распространенные сверточные нейронные сети содержат слои пула для уменьшения размеров выходных объектов. Почему я не могу достичь того же, просто увеличив шаг сверточного слоя? Что делает необходимым объединение...

18
Используются ли методы линейного поиска в глубоком обучении? Почему нет?

Многие учебники онлайн рассказывают о градиентном спуске, и почти во всех из них используется фиксированный размер шага (скорость обучения ). Почему не используется поиск строк (например, поиск по линии с возвратом или точный поиск по...

18
О CNN, ядрах и инвариантности масштаба / вращения

У меня есть пара вопросов, которые смущают меня относительно CNN. 1) Функции, извлеченные с использованием CNN, инвариантны относительно масштаба и вращения? 2) Ядра, которые мы используем для свертки с нашими данными, уже определены в литературе? что это за ядра? это отличается для каждого...

18
Иконические (игрушечные) модели нейронных сетей

Мои профессора физики в аспирантуре, а также благородный лауреат Фейнман всегда представляли то, что они называли игрушечными моделями, чтобы проиллюстрировать основные понятия и методы в физике, такие как гармонический осциллятор, маятник, волчок и черный ящик. Какие модели игрушек используются...

18
Следует ли рисовать обучающие образцы, выбранные случайным образом для мини-пакетных нейронных сетей, без замены?

Мы определяем эпоху как пройденную через все доступные обучающие выборки, а размер мини-пакета как число выборок, по которым мы усредняем, чтобы найти обновления весов / смещений, необходимые для снижения градиента. Мой вопрос заключается в том, следует ли нам рисовать без замены из набора...

17
Можно ли дать изображения переменного размера в качестве входных данных для сверточной нейронной сети?

Можем ли мы предоставить изображения с переменным размером в качестве входных данных для сверточной нейронной сети для обнаружения объектов? Если возможно, как мы можем это сделать? Но если мы попытаемся обрезать изображение, мы потеряем некоторую часть изображения, и если мы попытаемся изменить...

16
количество карт характеристик в сверточных нейронных сетях

При изучении сверточной нейронной сети у меня возникают вопросы относительно следующего рисунка. 1) C1 в слое 1 имеет 6 карт характеристик, означает ли это, что имеется шесть сверточных ядер? Каждое сверточное ядро ​​используется для генерации карты объектов на основе входных данных. 2) S1 в слое 2...

16
Современные случаи использования машин Больцмана с ограничениями (RBM)?

Справочная информация: Многие современные исследования за последние ~ 4 года (post alexnet ), похоже, отошли от использования генеративной предварительной подготовки для нейронных сетей для достижения современных результатов классификации. Например, лучшие результаты для mnist здесь включают только...

16
Что делает шаг свертки в сверточной нейронной сети?

Я изучаю сверточные нейронные сети (CNN) из-за их применения в компьютерном зрении. Я уже знаком со стандартными нейронными сетями feed-foward, поэтому я надеюсь, что некоторые люди здесь могут помочь мне сделать дополнительный шаг в понимании CNN. Вот что я думаю о CNN: В традиционных NN с прямой...