Искусственные нейронные сети (ИНС) представляют собой широкий класс вычислительных моделей, в основе которых лежат биологические нейронные сети. Они включают в себя NN с прямой связью (включая "глубокие" NN), сверточные NN, рекуррентные NN и т. Д.
Существует ли стандартный и общепринятый метод выбора количества слоев и количества узлов в каждом слое в нейронной сети с прямой связью? Я заинтересован в автоматизированных способах построения нейронных...
При обучении нейронной сети, какое значение это имеет для установки: размер партии до и количество итераций доaaabbb От размера пакета до и количества итераций доcccddd где ?ab=cdab=cd ab = cd Иными словами, предположим, что мы обучаем нейронную сеть с одинаковым количеством обучающих примеров, как...
Я уверен, что многие люди ответят ссылками на «позвольте мне Google это для вас», поэтому я хочу сказать, что я пытался выяснить это, поэтому, пожалуйста, простите мое непонимание здесь, но я не могу понять, как Практическая реализация нейронной сети фактически работает. Я понимаю входной слой и...
Я использую Python Keras packageдля нейронной сети. Это ссылка . Is batch_sizeравно числу тестовых образцов? Из Википедии у нас есть эта информация: Однако в других случаях оценка градиента суммы может потребовать дорогостоящих оценок градиентов от всех функций слагаемых. Когда обучающий набор...
Я тренирую нейронную сеть, но потери от тренировок не уменьшаются. Как я могу это исправить? Я не спрашиваю о переоснащении или регуляризации. Я спрашиваю, как решить проблему, когда производительность моей сети не улучшается на тренировочном наборе . Этот вопрос намеренно носит общий характер,...
Уровень техники нелинейности заключается в использовании выпрямленных линейных единиц (ReLU) вместо сигмовидной функции в глубокой нейронной сети. Каковы преимущества? Я знаю, что тренировка сети при использовании ReLU будет быстрее, и она будет более биологически вдохновленной, каковы другие...
Какие функции общих затрат используются при оценке производительности нейронных сетей? подробности (не стесняйтесь пропустить остальную часть этого вопроса, мое намерение здесь состоит в том, чтобы просто дать пояснение по обозначению, которое ответы могут использовать, чтобы помочь им быть более...
Недавно я читал о глубоком обучении, и я запутался в терминах (или, скажем, технологиях). В чем разница между Сверточные нейронные сети (CNN), Ограниченные машины Больцмана (RBM) и Авто-кодеры?...
Я не видел вопроса, сформулированного именно в этих терминах, и поэтому я задаю новый вопрос. Что мне интересно знать, так это не определение нейронной сети, а понимание реальной разницы с глубокой нейронной сетью. Для большего контекста: я знаю, что такое нейронная сеть и как работает обратное...
В настоящее время я занимаюсь учебником по углубленному изучению Udacity. В уроке 3 они говорят о свертке 1x1. Эта свертка 1x1 используется в начальном модуле Google. У меня проблемы с пониманием, что такое свертка 1x1. Я также видел этот пост от Янн Лекун. Может ли кто-нибудь любезно объяснить это...
Какая разница между скоростью обучения и снижением веса в контексте нейронных сетей?
Многие книги и учебные пособия по нейронной сети тратят много времени на алгоритм обратного распространения, который по сути является инструментом для вычисления градиента. Давайте предположим, что мы строим модель с ~ 10K параметров / весов. Можно ли запустить оптимизацию, используя некоторые...
Во многих библиотеках нейронных сетей есть «встраиваемые слои», как в Keras или Lasagne . Я не уверен, что понимаю его функцию, несмотря на чтение документации. Например, в документации Keras говорится: Превратить натуральные числа (индексы) в векторы denses фиксированного размера, например. [[4],...
Я новичок в машинном обучении, и я пытался понять, как применить нейронную сеть для прогнозирования временных рядов. Я нашел ресурс, связанный с моим запросом, но я все еще немного потерян. Я думаю, что базовое объяснение без особых подробностей поможет. Допустим, у меня есть несколько ценовых...
Функция активации tanh: t a n h ( x ) = 2 ⋅ σ( 2 х ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Где , сигмовидная функция, определяется как: \ sigma (x) = \ frac {e ^ x} {1 + e ^ x} .σ ( x ) = e xσ( х )σ(x)\sigma(x) σ( х ) = еИкс1 + еИксσ(x)=ex1+ex\sigma(x) =...
В последние годы сверточные нейронные сети (или, возможно, глубокие нейронные сети в целом) стали глубже и глубже: современные сети переходят от 7 уровней ( AlexNet ) до 1000 слоев ( остаточных сетей) в пространстве 4 года. Причиной повышения производительности в более глубокой сети является то,...
Эпоха в стохастическом градиентном спуске определяется как один проход данных. Для каждой мини-партии SGD отбирается Кkk выборок, вычисляется градиент и обновляются параметры. В настройках эпохи образцы оформляются без замены. Но это кажется ненужным. Почему бы не нарисовать каждый мини-пакет SGD...
Я только что слышал, что это хорошая идея, чтобы выбрать начальные веса нейронной сети из диапазона , где - это количество входов в данный нейрон. Предполагается, что множества нормализованы - среднее значение 0, дисперсия 1 (не знаю, имеет ли это значение).г( - 1d√, 1d√)(−1d,1d)(\frac{-1}{\sqrt d}...
Рекуррентные нейронные сети отличаются от «обычных» тем, что имеют слой «памяти». Благодаря этому слою рекуррентные NN должны быть полезны при моделировании временных рядов. Тем не менее, я не уверен, что правильно понимаю, как их использовать. Допустим, у меня есть следующие временные ряды (слева...
Существуют ли общие рекомендации о том, где размещать выпадающие слои в нейронной