Возможно, это слишком широко, но я ищу ссылки на то, как использовать глубокое обучение в задаче обобщения текста. Я уже реализовал суммирование текста, используя стандартные частотно-частотные подходы и ранжирование предложений, но я хотел бы изучить возможность использования методов глубокого...
Keras поддерживает как TensorFlow, так и Theano в качестве бэкенда: каковы плюсы / минусы выбора одного против другого, кроме того факта, что в настоящее время не все операции реализованы с бэкэндом...
Функции активации используются для введения нелинейностей в линейный вывод типа w * x + bв нейронной сети. Что я могу понять интуитивно для функций активации, таких как сигмоидальные. Я понимаю преимущества ReLU, который избегает мертвых нейронов во время обратного распространения. Однако я не могу...
Мне было интересно, как мы должны решить, сколько узлов в скрытых слоях и сколько скрытых слоев разместить при построении архитектуры нейронной сети. Я понимаю, что уровень ввода и вывода зависит от имеющегося у нас обучающего набора, но как нам определить скрытый уровень и общую архитектуру в...
Из кода Tensorflow : Tensorflow. RnnCell. num_units: int, The number of units in the LSTM cell. Не могу понять, что это значит. Каковы единицы измерения ячейки LSTM. Вход, выход и забыть ворота? Означает ли это «количество единиц в текущем проекционном слое для Deep LSTM». Тогда почему это...
Я использую нейронные сети уже некоторое время. Тем не менее, одна вещь, с которой я постоянно борюсь, это выбор оптимизатора для обучения сети (используя backprop). Что я обычно делаю, так это просто начинаю с одного (например, стандартного SGD), а затем пробую другие другие довольно случайно. Мне...
Я пытаюсь понять роль производной сигмовидной функции в нейронных сетях. Сначала я строю сигмовидную функцию и производную всех точек из определения, используя python. Какова роль этой производной? import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1 + np.exp(-x)) def...
Из Keras RNN Tutorial: «RNNs сложны. Выбор размера пакета важен, выбор потерь и оптимизатора важен и т. Д. Некоторые конфигурации не сходятся». Так что это более общий вопрос о настройке гиперпараметров LSTM-RNN на Keras. Я хотел бы знать о подходе к поиску лучших параметров для вашего RNN. Я начал...
Пакетирование - это создание нескольких предикторов, которые работают так же, как и один предиктор. Dropout - это метод, который обучает нейронные сети усреднять все возможные подсети. Глядя на наиболее важные соревнования Kaggle, кажется, что эти две техники используются вместе очень часто. Я не...
Рассмотрим нейронную сеть: Для данного набора данных мы делим его на наборы для обучения, проверки и тестирования. Предположим, что мы делаем это в классическом соотношении 60:20:20, тогда мы предотвращаем переобучение, проверяя сеть, проверяя ее на наборе проверки. Тогда зачем тестировать его на...
Здесь ответ относится к исчезающему и взрывному градиенту, который был sigmoidпохож на функции активации, но, я думаю, Reluимеет недостаток, и это его ожидаемое значение. нет ограничений на вывод Reluи поэтому его ожидаемое значение не равно нулю. Я помню время , прежде чем популярность , Reluчто...
Я работаю над вопросом из онлайн-книги: http://neuralnetworksanddeeplearning.com/chap1.html Я могу понять, что если дополнительный выходной слой состоит из 5 выходных нейронов, я мог бы, вероятно, установить смещение в 0,5 и вес 0,5 для каждого предыдущего слоя. Но теперь возникает вопрос о новом...
У меня есть некоторые трудности с получением обратного распространения с помощью ReLU, и я проделал некоторую работу, но я не уверен, что я на правильном пути. Функция стоимости: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2гдеyyyпредставляет собой реальное значение, и у представляет собой...
Я делаю проект по проблеме идентификации автора. Я применил нормализацию tf-idf для обучения данных, а затем обучил SVM на этих данных. Теперь при использовании классификатора я должен также нормализовать тестовые данные. Я чувствую, что основная цель нормализации - сделать так, чтобы обучающий...
Предположим, у нас есть два вида входных функций: категориальные и непрерывные. Категориальные данные могут быть представлены в виде горячего кода A, тогда как непрерывные данные - это просто вектор B в N-мерном пространстве. Кажется, что просто использование concat (A, B) не является хорошим...
Я знаю, что нет четкого ответа на этот вопрос, но давайте предположим, что у меня огромная нейронная сеть с большим количеством данных, и я хочу добавить новую функцию ввода. «Лучший» способ - проверить сеть с помощью новой функции и увидеть результаты, но есть ли способ проверить, полезна ли эта...
Я создаю corr()DF из оригинального DF. corr()ДФ вышел 70 X 70 и невозможно представить себе Heatmap ... sns.heatmap(df). Если я попытаюсь отобразить corr = df.corr(), таблица не умещается на экране, и я вижу все корреляции. Это способ печати всего, dfнезависимо от его размера, или контроля размера...
Я немного играю с конвеетами. В частности, я использую набор данных kaggle cats-vs-dogs, который состоит из 25000 изображений, помеченных как кошки или собаки (по 12500 изображений). Мне удалось достичь около 85% точности классификации на моем тестовом наборе, однако я поставил цель добиться...
В настоящее время я готовлюсь к экзамену по нейронным сетям. В нескольких протоколах предыдущих экзаменов я читал, что функции активации нейронов (в многослойных персептронах) должны быть монотонными. Я понимаю, что функции активации должны быть дифференцируемыми, иметь производную, которая не...
Я изучил типы функций активации для нейронных сетей. Сами функции довольно просты, но различие в применении не совсем понятно. Разумно различать логические и линейные функции, в зависимости от желаемого двоичного / непрерывного вывода, но в чем преимущество сигмоидальной функции перед простой...