Я построил некоторые нейронные сети (MLP (полностью подключенные), Elman (рекуррентные)) для различных задач, таких как игра в понг, классификация рукописных цифр и прочее ... Кроме того, я попытался создать несколько первых сверточных нейронных сетей, например, для классификации многозначных...
В базовом машинном обучении нас учат следующим «правилам большого пальца»: а) размер ваших данных должен как минимум в 10 раз превышать размер VC вашего набора гипотез. б) нейронная сеть с N соединениями имеет размерность VC приблизительно N. Итак, когда в нейронной сети с глубоким обучением...
Я изучаю использование LSTM ( долговременной кратковременной памяти ) версии рекуррентной нейронной сети (RNN) для моделирования данных временных рядов. По мере увеличения длины последовательности данных сложность сети возрастает. Поэтому мне любопытно, какую длину последовательностей можно было бы...
Я понимаю причину разделения данных на наборы тестов и наборов валидации. Я также понимаю, что размер раскола будет зависеть от ситуации, но обычно будет варьироваться от 50/50 до 90/10. Я построил RNN, чтобы исправить орфографию и начать с набора данных ~ 5м предложений. Я брею 500 тыс....
Может кто-нибудь сказать мне, как я должен построить нейронную сеть, используя пакетный метод? Я прочитал, что в пакетном режиме для всех выборок в обучающем наборе мы вычисляем ошибку, дельту и, следовательно, веса дельты для каждого нейрона в сети, а затем вместо немедленного обновления весов мы...
Когда мы углубимся в литературу по нейронным сетям , мы сможем идентифицировать другие методы с нейроморфными топологиями (архитектура, подобная «нейронной сети»). И я не говорю о теореме универсального приближения . Примеры приведены ниже. Тогда это заставляет меня задуматься: каково определение...
Когда я реализовал мини-пакетный градиент приличный, я просто усреднил градиенты всех примеров в обучающей партии. Тем не менее, я заметил, что сейчас оптимальная скорость обучения намного выше, чем для приличного онлайн градиента. Моя интуиция заключается в том, что это происходит из-за того, что...
Места, которые я читал о проклятии размерности, объясняют его в первую очередь в связи с kNN и линейными моделями в целом. Я регулярно вижу топ-рейтингов в Kaggle, использующих тысячи функций в наборе данных, который вряд ли имеет 100 тыс. Точек данных. Они в основном используют Boosted деревья и...
Во время мини-пакетного обучения нейронной сети я слышал, что важной практикой является перетасовывание данных обучения перед каждой эпохой. Может кто-нибудь объяснить, почему тасование в каждую эпоху помогает? Из поиска Google, я нашел следующие ответы: это помогает тренировке сходиться быстро...
Я читал об оптимизаторе Адама для глубокого обучения и натолкнулся на следующее предложение в новой книге Бегнио, Гудфеллоу и Кортвилла « Глубокое обучение »: Адам включает поправки смещения к оценкам как моментов первого порядка (члена импульса), так и (нецентрированных) моментов второго порядка,...
Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R. Используя небольшой набор данных для поступления в колледж, я запустил следующий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create...
Я пытаюсь научиться использовать нейронные сети. Я читал этот урок . После подбора нейронной сети по временному ряду, используя значение в для прогнозирования значения в момент времени t + 1, автор получает следующий график, где синяя линия - это временной ряд, зеленый - это прогноз данных поезда,...
Я пытаюсь понять, как работают машины Больцмана, но я не совсем уверен, как узнать вес, и не смог найти четкого описания. Правильно ли следующее? (Кроме того, ссылки на любые хорошие машинные объяснения Больцмана также были бы хорошими.) У нас есть набор видимых единиц (например, соответствующих...
Я использую пакет nnet в R, чтобы попытаться построить ANN для прогнозирования цен на недвижимость для квартир (личный проект). Я новичок в этом и не имею математического образования, поэтому, пожалуйста, держись со мной. У меня есть входные переменные, которые являются двоичными и непрерывными....
После вопроса, на который уже дан ответ ( Извлечение важности веса из одноуровневой сети прямой связи ), я ищу вывод об актуальности входных данных в нейронных сетях. Рассматривая глубокую сеть, где восстановление важности ввода путем перехода назад через слои от интересующего выходного узла может...
В сверточных нейронных сетях (CNN) матрица весов на каждом шаге переворачивает свои строки и столбцы для получения матрицы ядра, прежде чем приступить к свертке. Это объясняется в серии видео Хьюго Ларошелле здесь : Вычисление скрытых карт будет соответствовать выполнению дискретной свертки с...
Я пытаюсь понять знаменитую статью «Игра Atari с глубоким обучением подкреплению» ( pdf ). Я неясный о различии между эпохой и эпизодом . В алгоритме внешний цикл заканчивается эпизодами , а на рисунке ось х обозначена как эпоха . В контексте обучения подкреплению мне не ясно, что означает эпоха....
Структура этого вопроса следующая: сначала я представляю концепцию обучения ансамблям , далее я даю список задач распознавания образов , затем я привожу примеры алгоритмов обучения ансамблям и, наконец, представляю свой вопрос. Те, кому не нужна вся дополнительная информация, могут просто...
Допустим, я пишу алгоритм построения двухуровневого сложного автоэнкодера и двухслойной нейронной сети. Это одни и те же вещи или разница? Что я понимаю, так это то, что когда я строю сложенный автоэнкодер, я буду строить слой за слоем. Для нейронной сети я бы инициализировал все параметры в...
Согласно этому руководству по глубокому обучению , снижение веса (регуляризация) обычно не применяется к терминам смещения b, почему? Какое значение (интуиция) стоит за...