Если мы обрабатываем, скажем, 10 примеров в пакете, я понимаю, что мы можем суммировать потери для каждого примера, но как работает обратное распространение в отношении обновления весов для каждого примера? Например: Пример 1 -> потеря = 2 Пример 2 -> потеря = -2 Это приводит к средней потере...
Справочная информация: я изучаю 6-ю главу «Глубокое обучение» Иана Гудфеллоу, Йошуа Бенжио и Аарона Курвилля. В разделе 6.2.2.2 (страницы 182 из 183, которые можно посмотреть здесь ) использование сигмоиды для вывода п( у= 1 | х )п(Yзнак равно1|Икс)P(y=1|x) мотивировано . Чтобы суммировать...
Я смотрел лекции CS231N из Стэнфорда и пытался обдумать некоторые проблемы в архитектуре CNN. Я пытаюсь понять, есть ли какие-то общие рекомендации по выбору размера сверточного фильтра и тому подобное, или это больше искусство, чем наука? Я понимаю, что объединение существует главным образом для...
Прежде всего: я знаю, что для обучения нейронной сети нет общего количества выборок. Это зависит от слишком многих факторов, таких как сложность задачи, шум в данных и так далее. И чем больше у меня будет обучающих образцов, тем лучше будет моя сеть. Но мне было интересно: возможно ли теоретически...
Мне было интересно, могут ли при некоторых обстоятельствах ANN работать лучше, если вы удалите некоторые соединения на них, например: Построение одной сети ANN путем параллельного подключения двух многослойных сетей ANN A и B (одинаковые входные и выходные узлы) с добавлением нескольких...
Не уверен, подходит ли это для этого сайта, но я начинаю свою MSE в области компьютерных наук (бакалавр прикладной математики) и хочу получить сильный опыт в машинном обучении (я, скорее всего, собираюсь получить докторскую степень). Один из моих подчиненных интересов - нейронные сети. Что такое...
Я пытаюсь использовать neuralnetпакет R (документация здесь ) для прогноза. Вот что я пытаюсь сделать: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <- as.formula(paste('y ~',...
Я пытаюсь построить границу решения алгоритма персептрона, и я действительно запутался в нескольких вещах. Мои входные экземпляры имеют форму , в основном это двумерный входной экземпляр ( x 1 и x 2 ) и целевое значение двоичного класса ( y ) [1 или 0].[(x1,x2),y][(x1,x2),y][(x_{1},x_{2}),...
В настоящее время я работаю над программным обеспечением для распознавания лиц, которое использует нейронные сети свертки для распознавания лиц. Основываясь на своих результатах, я понял, что сверточная нейронная сеть имеет общие веса, чтобы сэкономить время во время обучения. Но как адаптировать...
Для примера, давайте предположим, что мы строим оценку возраста, основанную на изображении человека. Ниже у нас два человека в костюмах, но первый явно моложе второго. (источник: tinytux.com ) Есть множество особенностей, которые подразумевают это, например, структура лица. Однако наиболее...
У меня проблемы с пониманием этого предложения: Первая предложенная архитектура аналогична NNLM с прямой связью, где нелинейный скрытый слой удаляется, а проекционный слой используется для всех слов (а не только для матрицы проекции); таким образом, все слова проецируются в одну и ту же позицию (их...
Вот что я прочитал в книге Яна Гудфеллоу « Глубокое обучение» . В контексте нейронных сетей «штраф за норму параметра L2 обычно известен как затухание веса. Эта стратегия регуляризации приближает веса к началу координат [...]. В более общем смысле, мы могли бы упорядочить параметры, чтобы они были...
При реализации автоэнкодера с нейронной сетью большинство людей используют сигмоид в качестве функции активации. Можем ли мы использовать ReLU вместо этого? (Поскольку ReLU не имеет ограничений на верхнюю границу, в основном это означает, что входное изображение может иметь пиксель больше 1, в...
Я понимаю, что нейронные сети (НС) можно считать универсальными аппроксиматорами как для функций, так и для их производных, при определенных предположениях (как для сети, так и для функции, которую нужно аппроксимировать). На самом деле, я провел ряд тестов на простые, но нетривиальные функции...
У меня проблемы с пониманием скип-грамматической модели алгоритма Word2Vec. В непрерывном пакете слов легко увидеть, как контекстные слова могут «вписаться» в нейронную сеть, поскольку вы в основном усредняете их после умножения каждого из представлений кодирования с одним горячим кодированием на...
Я пытаюсь использовать нейронную сеть, чтобы приблизить Q-значение в Q-Learning, как в вопросах о Q-Learning с использованием нейронных сетей . Как было предложено в первом ответе, я использую линейную функцию активации для выходного слоя, в то время как я все еще использую функцию активации...
Идея, лежащая в основе Recurrent Neural Network (RNN), мне ясна. Я понимаю это следующим образом: у нас есть последовательность наблюдений ( ) (или, другими словами, многомерный временной ряд). Каждое отдельное наблюдение является числовым вектором. В рамках RNN-модели мы предполагаем, что...
Я использую прямую связь NN. Я понимаю концепцию, но мой вопрос о весах. Как вы можете их интерпретировать, то есть, что они представляют или как они могут быть устранены (помимо функциональных коэффициентов)? Я нашел то, что называется «пространство весов», но я не совсем уверен, что это...
Недавно мы увидели появление остаточной нейронной сети, в которой каждый уровень состоит из вычислительного модуля и ярлыка соединения, которое сохраняет входные данные для уровня, такие как выходные данные i-го уровня: Сеть позволяет извлекать остаточные элементы и обеспечивает более глубокую...
Я читал статью о нормализации партии [1], и в ней был один раздел, где приводится пример, в котором я пытался показать, почему нормализацию следует выполнять осторожно. Я, честно говоря, не могу понять, как работает пример, и мне очень любопытно понять, что они пишут столько, сколько я могу....