Если у вас есть половина страницы, чтобы объяснить отсев , как бы вы поступили? Какое обоснование стоит за этой
Я новичок в Recurrent Neural Networks (RNN) и все еще изучаю концепции. На абстрактном уровне я понимаю, что сеть эхо-состояний (ESN) способна (повторно) создавать последовательность входов, то есть сигнал, даже после того, как вход был удален. Тем не менее, я нашел статью Scholarpedia слишком...
Ниже приведены 6 границ принятия решений. Границы решения - фиолетовые линии. Точки и крестики - это два разных набора данных. Мы должны решить, какой из них: Линейный СВМ Ядро SVM (Полиномиальное ядро порядка 2) Perceptron Логистическая регрессия Нейронная сеть (1 скрытый слой с 10 выпрямленными...
Я тренирую нейронную сеть, используя i) SGD и ii) Adam Optimizer. При использовании обычного SGD я получаю плавную кривую потери обучения и итерации, как показано ниже (красная). Тем не менее, когда я использовал Adam Optimizer, кривая тренировочных потерь имела некоторые всплески. Чем объясняются...
Мне нужны ресурсы, чтобы начать использовать нейронные сети для прогнозирования временных рядов. Я настороженно отношусь к реализации некоторых документов, а затем выясняю, что они значительно переоценили потенциал своих методов. Так что если у вас есть опыт работы с методами, которые вы...
Я сталкивался с некоторыми основными способами измерения сложности нейронных сетей: Наивный и неформальный: подсчитайте количество нейронов, скрытых нейронов, слоев или скрытых слоев VC-измерение (Эдуардо Д. Сонтаг [1998] "VC-измерение нейронных сетей" [ pdf ].) Конечно-гранулированная и...
В литературе по нейронным сетям часто встречается слово «тензор». Это отличается от вектора? А из матрицы? У вас есть конкретный пример, который разъясняет его определение? Я немного запутался в его определении. Википедия не помогает, и иногда у меня складывается впечатление, что ее определение...
Я изучаю сверточные нейронные сети (CNN) из-за их применения в компьютерном зрении. Я уже знаком со стандартными нейронными сетями feed-foward, поэтому я надеюсь, что некоторые люди здесь могут помочь мне сделать дополнительный шаг в понимании CNN. Вот что я думаю о CNN: В традиционных NN с прямой...
Это вопрос терминологии. Иногда я вижу, что люди называют глубокие нейронные сети «многослойными персептронами», почему это так? Как мне преподавали, персептрон - это однослойный классификатор (или регрессор) с двоичным пороговым выходным значением, использующий определенный способ тренировки весов...
При изучении сверточной нейронной сети у меня возникают вопросы относительно следующего рисунка. 1) C1 в слое 1 имеет 6 карт характеристик, означает ли это, что имеется шесть сверточных ядер? Каждое сверточное ядро используется для генерации карты объектов на основе входных данных. 2) S1 в слое 2...
Я пытаюсь понять функцию потери Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑с ∈ C л с ы е с( ря( с ) - р^я( с )...
Я заранее прошу прощения за то, что до сих пор не тороплюсь с этим. Я пытаюсь понять плюсы и минусы использования tanh (карта от -1 до 1) против сигмовидной (карта от 0 до 1) для моей функции активации нейронов. Из моего чтения это звучало как незначительная вещь с незначительными различиями. На...
Я пытаюсь понять контекст знаменитой книги Мински и Пейперта «Перцептроны» 1969 года, столь критичной для нейронных сетей. Насколько я знаю, не было никаких других общих алгоритмов обучения под наблюдением, за исключением персептрона: деревья решений начали становиться действительно полезными...
В Tensorflow есть пример учебника по классификации CIFAR-10 . В учебном пособии средняя кросс-энтропийная потеря по партии сведена к минимуму. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference()....
Я читал об оптимизаторе Адама для глубокого обучения и натолкнулся на следующее предложение в новой книге Бегнио, Гудфеллоу и Кортвилла « Глубокое обучение »: Адам включает поправки смещения к оценкам как моментов первого порядка (члена импульса), так и (нецентрированных) моментов второго порядка,...
Во время мини-пакетного обучения нейронной сети я слышал, что важной практикой является перетасовывание данных обучения перед каждой эпохой. Может кто-нибудь объяснить, почему тасование в каждую эпоху помогает? Из поиска Google, я нашел следующие ответы: это помогает тренировке сходиться быстро...
Я не нашел удовлетворительного ответа на этот вопрос от Google . Конечно, если у меня есть данные порядка нескольких миллионов, то глубокое обучение - это путь. И я прочитал, что, когда у меня нет больших данных, тогда, возможно, лучше использовать другие методы в машинном обучении. Приведенная...
Что является производной функции активации ReLU, определенной как: R e L U ( x ) = m a x ( 0 , x )ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) А как насчет частного случая, когда в функции при есть разрыв ?х =...
Я построил некоторые нейронные сети (MLP (полностью подключенные), Elman (рекуррентные)) для различных задач, таких как игра в понг, классификация рукописных цифр и прочее ... Кроме того, я попытался создать несколько первых сверточных нейронных сетей, например, для классификации многозначных...
В базовом машинном обучении нас учат следующим «правилам большого пальца»: а) размер ваших данных должен как минимум в 10 раз превышать размер VC вашего набора гипотез. б) нейронная сеть с N соединениями имеет размерность VC приблизительно N. Итак, когда в нейронной сети с глубоким обучением...