Я смотрю на функцию стоимости кросс-энтропии, найденную в этом уроке : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Что именно мы подводим? Это, конечно, над xxx , но yyy и aaa не меняются с xxx . Все xxx являются входами в один aaa . aaa...
Задачи классификации с нелинейными границами не могут быть решены простым персептроном . Следующий код R предназначен для иллюстративных целей и основан на этом примере в Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1, -2,1, -1,1, 0,1,...
Я пытаюсь понять архитектуру RNN. Я нашел этот учебник, который был очень полезен: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Особенно это изображение: Как это вписывается в сеть прямой связи? Является ли это изображение просто еще одним узлом в каждом...
Предположим, у меня есть простая однослойная нейронная сеть с n входами и одним выходом (задача двоичной классификации). Если я установлю функцию активации в выходном узле как сигмовидную функцию, то результатом будет классификатор логистической регрессии. В этом же сценарии, если я изменю выходную...
Я пытаюсь обучить глубокую нейронную сеть для классификации, используя обратное распространение. В частности, я использую сверточную нейронную сеть для классификации изображений, используя библиотеку Tensor Flow. Во время тренировок я испытываю какое-то странное поведение, и мне просто интересно,...
Можно ли научить нейронную сеть рисовать картинку в определенном стиле? (Таким образом, он берет изображение и перерисовывает его в стиле, для которого он был обучен.) Есть ли одобренная технология для такого рода вещей? Я знаю об алгоритме DeepArt. Хорошо заполнить основное изображение...
Есть ли эмпирическое правило между глубиной нейронной сети и скоростью обучения? Я заметил, что чем глубже сеть, тем ниже должна быть скорость обучения. Если это правильно, то...
Хотя я фактически занимался программированием на машинах Больцмана в классе физики, я не знаком с их теоретической характеристикой. Напротив, я знаю скромное количество о теории графических моделей (о первых нескольких главах книги Лауритцена « Графические модели» ). Вопрос: Есть ли какая-либо...
С точки зрения различий между нейронной сетью и глубоким обучением мы можем перечислить несколько элементов, таких как добавление большего количества слоев, массивный набор данных, мощное компьютерное оборудование, чтобы сделать обучение сложной моделью. Помимо этого, есть ли более подробное...
Я использую Двунаправленный RNN, чтобы обнаружить случай несбалансированного события. Положительный класс в 100 раз реже, чем отрицательный. Пока не используется регуляризация, я могу получить 100% точность в наборе поездов и 30% в наборе проверки. Я включаю регуляризацию l2, и в результате...
Я работаю в сети свертки для распознавания изображений, и мне было интересно, смогу ли я вводить изображения разных размеров (хотя и не сильно отличается). Об этом проекте: https://github.com/harvardnlp/im2markup Они говорят: and group images of similar sizes to facilitate batching Таким образом,...
Я прочитал о SVM и узнал, что они решают проблему оптимизации, и идея максимальной маржи была очень разумной. Теперь, используя ядра, они могут найти даже нелинейные границы разделения, что было здорово. До сих пор я действительно не представляю, как SVM (специальная машина ядра) и машины ядра...
В недавней статье WaveNet авторы ссылаются на свою модель как на сложенные слои расширенных извилин. Они также производят следующие диаграммы, объясняющие разницу между «обычными» сверточными и дилатационными сверточками. Обычные свертки выглядят так: Это свертка с размером фильтра 2 и шагом 1,...
В статье под названием « Глубокое обучение и принцип узкого места в информации» авторы утверждают в разделе II А) следующее: Одиночные нейроны классифицируют только линейно разделимые входы, поскольку они могут реализовывать только гиперплоскости в своем входном пространстве u=wh+bu=wh+bu = wh+b ....
В документах DeepMind AlphaGo Zero и AlphaZero они описывают добавление шума Дирихле к предыдущим вероятностям действий от корневого узла (состояния платы) в Поиске дерева Монте-Карло: Дополнительное исследование достигается путем добавления шума Дирихле к предшествующим вероятностям в корневом...
Я тренирую искусственную нейронную сеть (обратное распространение, прямая связь) с ненормальными распределенными данными. Наряду с среднеквадратичной ошибкой в литературе часто предлагается коэффициент корреляции Пирсона для оценки качества обученной сети. Но разумен ли коэффициент корреляции...
У меня очень разреженные входы, например, расположение определенных функций на входном изображении. Кроме того, каждая функция может иметь несколько обнаружений (не уверен, что это повлияет на конструкцию системы). Это я буду представлять как двоичное изображение k-канала с включенными пикселями,...
Я изучаю глубокое обучение (особенно CNN) и то, как обычно требуется очень много данных для предотвращения переобучения. Однако мне также сказали, что чем больше емкость / больше параметров в модели, тем больше данных требуется для предотвращения переобучения. Поэтому мой вопрос: почему вы не...
Мой вопрос касается взаимосвязи между гипотезой эффективного кодирования, изложенной на странице Википедии об эффективных алгоритмах кодирования и обучения нейронной сети. Какова связь между гипотезой эффективного кодирования и нейронными сетями? Существуют ли какие-либо модели нейронных сетей,...
Справочная информация: я использую приближение Q-значения нейронной сети в моей задаче обучения подкрепления. Подход точно такой же, как описанный в этом вопросе , однако сам вопрос другой. В этом подходе количество выходов - это количество действий, которые мы можем предпринять. Иными словами,...