Область машинного обучения связана с изучением иерархических представлений данных, в основном с глубокими нейронными сетями.
Я тренирую нейронную сеть, но потери от тренировок не уменьшаются. Как я могу это исправить? Я не спрашиваю о переоснащении или регуляризации. Я спрашиваю, как решить проблему, когда производительность моей сети не улучшается на тренировочном наборе . Этот вопрос намеренно носит общий характер,...
Уровень техники нелинейности заключается в использовании выпрямленных линейных единиц (ReLU) вместо сигмовидной функции в глубокой нейронной сети. Каковы преимущества? Я знаю, что тренировка сети при использовании ReLU будет быстрее, и она будет более биологически вдохновленной, каковы другие...
Недавно я читал о глубоком обучении, и я запутался в терминах (или, скажем, технологиях). В чем разница между Сверточные нейронные сети (CNN), Ограниченные машины Больцмана (RBM) и Авто-кодеры?...
Я не видел вопроса, сформулированного именно в этих терминах, и поэтому я задаю новый вопрос. Что мне интересно знать, так это не определение нейронной сети, а понимание реальной разницы с глубокой нейронной сетью. Для большего контекста: я знаю, что такое нейронная сеть и как работает обратное...
В настоящее время я занимаюсь учебником по углубленному изучению Udacity. В уроке 3 они говорят о свертке 1x1. Эта свертка 1x1 используется в начальном модуле Google. У меня проблемы с пониманием, что такое свертка 1x1. Я также видел этот пост от Янн Лекун. Может ли кто-нибудь любезно объяснить это...
Существуют некоторые варианты нормализации изображений, но большинство, похоже, используют эти два метода: Вычтите среднее значение для канала, рассчитанное для всех изображений (например, VGG_ILSVRC_16_layers ) Вычесть по пикселю / каналу, рассчитанному по всем изображениям (например, CNN_S ,...
В последние годы сверточные нейронные сети (или, возможно, глубокие нейронные сети в целом) стали глубже и глубже: современные сети переходят от 7 уровней ( AlexNet ) до 1000 слоев ( остаточных сетей) в пространстве 4 года. Причиной повышения производительности в более глубокой сети является то,...
Эпоха в стохастическом градиентном спуске определяется как один проход данных. Для каждой мини-партии SGD отбирается Кkk выборок, вычисляется градиент и обновляются параметры. В настройках эпохи образцы оформляются без замены. Но это кажется ненужным. Почему бы не нарисовать каждый мини-пакет SGD...
У меня складывается впечатление, что когда люди обращаются к сети «глубокого убеждения», это, по сути, нейронная сеть, но очень большая. Правильно ли это или сеть глубокого убеждения также подразумевает, что сам алгоритм отличается (т. Е. Нет нейронной сети с прямой связью, но, возможно, что-то с...
Мне было интересно, есть ли хорошие библиотеки R для глубокого изучения нейронных сетей? Я знаю , что это nnet, neuralnetи RSNNS, но ни один из них не кажется , осуществить глубокие методы обучения. Меня особенно интересует неконтролируемое обучение с последующим обучением и использование отсева...
Я новичок в области глубокого обучения, и для меня первым шагом было прочитать интересные статьи с сайта deeplearning.net. В статьях о глубоком обучении Хинтон и другие в основном говорят о применении его к проблемам изображения. Может кто-нибудь попытаться ответить мне, может ли это быть применено...
В большинстве кодов Tensorflow, которые я видел, используется Adam Optimizer с постоянной скоростью обучения 1e-4(т.е. 0,0001). Код обычно выглядит следующим образом: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to...
Существуют рекуррентные нейронные сети и рекурсивные нейронные сети. Оба обычно обозначаются одной и той же аббревиатурой: RNN. Согласно Википедии , Рекуррентный NN на самом деле является Рекурсивным NN, но я не совсем понимаю объяснение. Более того, я не могу найти, что лучше (с примерами или...
В недавнем сообщении в блоге Rong Ge было сказано, что: Считается, что для многих задач, включая изучение глубинных сетей, почти все локальные минимумы имеют очень близкое значение функции к глобальному оптимуму, и, следовательно, нахождение локального минимума достаточно хорошо. Откуда эта...
В последние годы сверточные нейронные сети (CNN) стали современным средством распознавания объектов в компьютерном зрении. Как правило, CNN состоит из нескольких сверточных слоев, за которыми следуют два полностью связанных слоя. Интуиция в этом заключается в том, что сверточные слои изучают лучшее...
Аль Рахими недавно выступил с весьма провокационным докладом в NIPS 2017, сравнивая современное машинное обучение с алхимией. Одним из его утверждений является то, что нам нужно вернуться к теоретическим разработкам, чтобы иметь простые теоремы, доказывающие основополагающие результаты. Когда он...
Я пытаюсь понять сверточную часть сверточных нейронных сетей. Глядя на следующий рисунок: У меня нет проблем с пониманием первого слоя свертки, где у нас есть 4 разных ядра (размером ), которые мы сворачиваем с входным изображением для получения 4 карт характеристик.к × кК×Кk \times k Что я не...
Я хочу изучать нейронные сети. Я вычислительный лингвист. Я знаю подходы статистического машинного обучения и умею кодировать на Python. Я хочу начать с его концепций и знаю одну или две популярные модели, которые могут быть полезны с точки зрения компьютерной лингвистики. Я просмотрел сеть для...
Я обнаружил, что Imagenet и другие крупные CNN используют слои нормализации локального отклика. Однако я не могу найти столько информации о них. Насколько они важны и когда их следует использовать? С http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : «Уровень нормализации локального...
Я нашел выпрямленную линейную единицу (ReLU), восхваляемую в нескольких местах как решение проблемы исчезающего градиента для нейронных сетей. То есть, в качестве функции активации используется max (0, x). Когда активация положительна, очевидно, что это лучше, чем, скажем, функция активации...