Вопросы с тегом «rnn»

В чем разница между прямой и рекуррентной нейронной сетью? Почему вы используете один поверх другого? Существуют ли другие сетевые топологии?

Я некоторое время изучал LSTM. Я понимаю на высоком уровне, как все работает. Однако, собираясь реализовать их с помощью Tensorflow, я заметил, что BasicLSTMCell требует параметра количества единиц (то есть num_units). Из этого очень подробного объяснения LSTM я понял, что один блок LSTM является...

Недавно я прочитал, что рекуррентная нейронная сеть может аппроксимировать любой алгоритм. Итак, мой вопрос: что это значит и можете ли вы дать мне ссылку, где это...

Каковы преимущества, почему можно использовать несколько LSTM, расположенных рядом друг с другом, в глубокой сети? Я использую LSTM для представления последовательности входов в качестве одного входа. Итак, если у меня есть это единственное представление - зачем мне его снова проходить? Я спрашиваю...

Механизмы внимания использовались в различных документах глубокого обучения в последние несколько лет. Илья Суцкевер, руководитель исследовательского отдела Open AI, с энтузиазмом похвалил их: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Эудженио Кулурчелло из Университета...

На этот вопрос уже есть ответы здесь : Как изменение функции стоимости может быть положительным? (1 ответ) Что мне делать, если моя нейронная сеть не учится? (5 ответов) Закрыто в прошлом месяце . Я тренирую модель (Recurrent Neural Network), чтобы классифицировать 4 типа последовательностей. Во...

Недавно я заинтересовался LSTM и с удивлением узнал, что веса распределяются по времени. Я знаю, что если вы разделяете веса по времени, то ваши входные временные последовательности могут иметь переменную длину. С общими весами у вас гораздо меньше параметров для тренировки. Насколько я понимаю,...

Я пытаюсь понять различные архитектуры рекуррентных нейронных сетей (RNN), которые должны применяться к данным временных рядов, и меня немного путают с разными именами, которые часто используются при описании RNN. Является ли структура долгосрочной кратковременной памяти (LSTM) и Gated Recurrent...

RNN может использоваться для прогнозирования или преобразования последовательности в последовательность. Но как RNN можно использовать для классификации? Я имею в виду, мы даем всей последовательности одну...

Я просматриваю следующий блог по нейронной сети LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор изменяет входной вектор X как [выборки, временные шаги, особенности] для различной конфигурации LSTM. Автор пишет Действительно,...

Я ищу проект оптического распознавания символов (OCR). После некоторых исследований я натолкнулся на интересную архитектуру: CNN + RNN + CTC. Я знаком с извилистыми нейронными сетями (CNN) и рекуррентными нейронными сетями (RNN), но что такое временная классификация Connectionist (CTC)? Я хотел бы...

Я пытаюсь понять применение RNN высокого уровня для маркировки последовательностей с помощью (среди прочего) статьи Грейвса 2005 года о классификации фонем. Чтобы подвести итог проблемы: у нас есть большой обучающий набор, состоящий из (входных) аудиофайлов отдельных предложений и (выходных)...

В рекуррентной нейронной сети вы, как правило, продвигаетесь вперед через несколько временных шагов, «разворачиваете» сеть, а затем распространяетесь обратно через последовательность входов. Почему бы вам не просто обновить веса после каждого отдельного шага в последовательности? (эквивалент...

Какие проблемы последовательного ввода лучше всего подходят для каждого? Определяет ли входная размерность, какое из них лучше подходит? Являются ли проблемы, для которых требуется «более длинная память», более подходящими для RNN LSTM, а проблемы с циклическими шаблонами ввода (фондовый рынок,...

У меня есть базовые знания о том, как работают RNN (и, в частности, с блоками LSTM). У меня есть графическое представление об архитектуре модуля LSTM, то есть ячейки и нескольких шлюзов, которые регулируют поток значений. Однако, по-видимому, я не до конца понял, как LSTM решает проблему...

Идея, лежащая в основе Recurrent Neural Network (RNN), мне ясна. Я понимаю это следующим образом: у нас есть последовательность наблюдений ( ) (или, другими словами, многомерный временной ряд). Каждое отдельное наблюдение является числовым вектором. В рамках RNN-модели мы предполагаем, что...

Я использую Двунаправленный RNN, чтобы обнаружить случай несбалансированного события. Положительный класс в 100 раз реже, чем отрицательный. Пока не используется регуляризация, я могу получить 100% точность в наборе поездов и 30% в наборе проверки. Я включаю регуляризацию l2, и в результате...

Я работаю над статьей Cho 2014, в которой была представлена ​​архитектура кодер-декодер для моделирования seq2seq. В статье они, похоже, используют вероятность выходных данных при заданном входном сигнале (или его отрицательной логарифмической вероятности) в качестве функции потерь для входного...

Как и многие другие, я обнаружил, что ресурсы здесь и здесь чрезвычайно полезны для понимания ячеек LSTM. Я уверен, что понимаю, как значения обновляются и обновляются, и я достаточно уверен, чтобы добавить упомянутые «глазковые соединения» и т. Д. В моем примере у меня на каждом шаге времени есть...