Сетевая структура вдохновлена упрощенными моделями биологических нейронов (клеток мозга). Нейронные сети обучаются «обучению» с помощью контролируемых и неконтролируемых методов и могут использоваться для решения задач оптимизации, задач аппроксимации, классификации шаблонов и их комбинаций.
Полностью связанные (по крайней мере слой за слоем с более чем 2 скрытыми слоями) сети Backprop являются универсальными учащимися. К сожалению, они часто не спешат учиться и имеют тенденцию переусердствовать или имеют неудобные обобщения. Из дурачения с этими сетями я заметил, что обрезка некоторых...
Одним из гиперпараметров для сетей LSTM является температура. Что это
В чем разница между нейронной сетью, системой глубокого обучения и сетью глубокого убеждения? Насколько я помню, ваша базовая нейронная сеть представляет собой 3-х уровневую штуку, и я описал Deep Belief Systems как нейронные сети, расположенные друг над другом. До недавнего времени я не слышал о...
Моя цель состоит в том, чтобы решить следующую проблему, которую я описал ее вводом и выводом: Входные данные: Направленный ациклический граф с узлами, источниками и стоком ( ).граммграммGммmNNn111m > n ≥ 1м>N≥1m > n \geq 1 Выход: VC-размерность (или приближение к ней) для нейронной сети с...
Вступление Первый шаг Я написал стандартную нейронную сеть с обратным распространением и, чтобы протестировать ее, решил создать карту XOR. Это сеть 2-2-1 (с функцией активации tanh) X1 M1 O1 X2 M2 B1 B2 В целях тестирования я вручную установил верхний средний нейрон (M1) в качестве логического...
Я только недавно узнал о существовании этой иерархической временной памяти (HTM) . Я уже читал документ « Иерархическая временная память: концепции, теория и терминология» (Джеффа Хокинса и Дилипа Джорджа), который кажется довольно простым для понимания, но один красный флажок заключается в том,...
Когда мы говорим, что искусственная нейронная сеть является многослойным персептроном ? И когда мы говорим, что искусственная нейронная сеть является многослойной ? Связан ли термин персептрон с правилом обучения для обновления весов? Или это связано с нейронными...
Я использую нейронные сети для прогнозирования временных рядов. Вопрос, с которым я сейчас сталкиваюсь, заключается в том, как кодировать дату / время / серийный номер. каждого входа, установленного в качестве входа в нейронную сеть? Должен ли я использовать кодирование 1 из C (используется для...
На этом сайте я видел несколько вопросов о Deep Dream, однако ни один из них, по-видимому, фактически не говорит о том, что конкретно делает DeepDream. Насколько я понял, они, похоже, изменили целевую функцию, а также изменили обратное распространение, так что вместо обновления весов они обновляют...
Доказано, что нейронные сети с рациональными весами обладают вычислительной мощностью универсальной машины Тьюринга, вычислимой по Тьюрингу с нейронными сетями . Из того, что я получаю, кажется, что использование вещественных весов дает еще большую вычислительную мощность, хотя я не уверен в этом....
После прочтения достижений Google Deepmind в играх Atari , я пытаюсь понять q-learning и q-network, но я немного запутался. Путаница возникает в концепции дисконтного фактора. Краткое резюме того, что я понимаю. Глубокая сверточная нейронная сеть используется для оценки значения оптимального...
Недавно я прочитал действительно интересную запись в блоге Google Research Blog, рассказывающую о нейронной сети. В основном они используют эту нейронную сеть для решения различных задач, таких как распознавание изображений. Они используют генетические алгоритмы, чтобы «развить» веса аксонов. В...
Есть ли какие-то преимущества наличия более 2 скрытых слоев в нейронной сети? Я видел некоторые места, которые рекомендуют это, другие доказывают, что нет никакого преимущества. Какой из них...
Может ли алгоритм искусственной нейронной сети быть выражен в терминах операций сокращения карт? Мне также более интересны методы распараллеливания применительно к ANN и их применение в облачных вычислениях. Я бы подумал, что один подход будет включать в себя запуск полной ANN на каждом узле и...
Почему начальные веса нейронных сетей инициализируются как случайные числа? Я где-то читал, что это делается для того, чтобы «нарушить симметрию», и это ускоряет обучение нейронной сети. Как нарушение симметрии делает обучение быстрее? Разве инициализация весов в 0 не будет лучшей идеей? Таким...
Я изучал нейронные сети и SVM. Учебники, которые я прочитал, подчеркнули, насколько важна ядро для SVM. Без функции ядра SVM - это просто линейный классификатор. С помощью ядра, SVM также может включать нелинейные функции, что делает их более мощным классификатором. Мне кажется, что можно также...
Для многих проектов машинного обучения мы начинаем с классификатора k Nearest Neighbor. Это идеальный начальный классификатор, поскольку у нас обычно достаточно времени для расчета всех расстояний, а количество параметров ограничено (k, метрика расстояния и весовые коэффициенты). Однако это часто...
При обновлении весов нейронной сети с использованием алгоритма обратного распространения с импульсом, должна ли скорость обучения применяться и к члену импульса? Большая часть информации, которую я мог найти об использовании импульса, имеет уравнения, выглядящие примерно так:...