Эпоха против итерации при обучении нейронных сетей
В чем разница между эпохой и итерацией при обучении многослойного
413
Глубокое обучение - это область машинного обучения, целью которой является изучение сложных функций с использованием специальных архитектур нейронных сетей, которые являются «глубокими» (состоят из многих слоев). Этот тег следует использовать для вопросов о реализации архитектур глубокого обучения. Общие вопросы по машинному обучению должны быть помечены как "машинное обучение". Включение тега для соответствующей библиотеки программного обеспечения (например, «keras», «tensorflow», «pytorch», «fast.ai» и т. Д.) Полезно.
В чем разница между эпохой и итерацией при обучении многослойного
Я пытаюсь согласовать свое понимание LSTM и указал здесь в этом посте Кристофером Олахом, реализованным в Керасе. Я слежу за блогом, написанным Джейсоном Браунли для учебника Keras. То, что я в основном смущен о том, Преобразование ряда данных в [samples, time steps, features]и, LSTM с состоянием...
В чем разница между «SAME» и «ДЕЙСТВИТЕЛЬНО» обивкой в tf.nn.max_poolиз tensorflow? По моему мнению, «VALID» означает, что после краев не будет нуля. Согласно Руководству по арифметике свертки для глубокого обучения , в нем говорится, что в операторе пула не будет заполнения, т.е. просто...
Для любого слоя Keras ( Layerкласс), может кто - то объяснить , как понять разницу между input_shape, units, dimи т.д.? Например, в документе сказано unitsуказать форму вывода слоя. На изображении нейронной сети ниже hidden layer1имеется 4 единицы. Относится ли это непосредственно к unitsатрибуту...
В следующей функции TensorFlow мы должны обеспечить активацию искусственных нейронов в последнем слое. Это я понимаю. Но я не понимаю, почему это называется логитс? Разве это не математическая функция? loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels =...
Когда я тренировал свою нейронную сеть с помощью Theano или Tensorflow, они сообщали о переменной, называемой «потерями» за эпоху. Как я должен интерпретировать эту переменную? Чем выше потери, тем лучше или хуже, или что это значит для конечной производительности (точности) моей нейронной...
Я искал альтернативные способы сохранить обученную модель в PyTorch. Пока что я нашел две альтернативы. torch.save () для сохранения модели и torch.load () для загрузки модели. model.state_dict () для сохранения обученной модели и model.load_state_dict () для загрузки сохраненной модели. Я...
Я пытаюсь обучить Си-Эн-Эн классифицировать текст по темам. Когда я использую двоичную кросс-энтропию, я получаю точность ~ 80%, с категориальной кросс-энтропией я получаю точность ~ 50%. Я не понимаю, почему это так. Это проблема мультикласса, не означает ли это, что я должен использовать...
tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None) Я не могу понять обязанность этой функции. Это как справочная таблица? Что означает вернуть параметры, соответствующие каждому идентификатору (в идентификаторах)? Например, в skip-gramмодели, если мы используем...
Я обучил бинарную модель классификации с CNN, и вот мой код model = Sequential() model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode='valid', input_shape=input_shape)) model.add(Activation('relu')) model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1]))...
Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Stack Overflow. Закрыт 3 месяца назад . Уточните этот вопрос Я читал кое-что о нейронных сетях и понимаю...
Может ли кто-нибудь четко объяснить разницу между 1D, 2D и 3D свертками в сверточных нейронных сетях (в глубоком обучении) с использованием
Я пытаюсь понять роль Flattenфункции в Керасе. Ниже мой код, который представляет собой простую двухуровневую сеть. Он принимает двумерные данные формы (3, 2) и выводит одномерные данные формы (1, 4): model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu'))...
Я пытаюсь понять LSTM и как их создавать с помощью Keras. Я обнаружил, что в основном есть 4 режима для запуска RNN (4 правые на картинке) Источник изображения: Андрей Карпаты Теперь мне интересно, как будет выглядеть минималистичный фрагмент кода для каждого из них в Keras. Так что-то вроде model...
Если у нас есть 10 собственных векторов, то у нас может быть 10 нейронных узлов во входном слое. Если у нас есть 5 выходных классов, то у нас может быть 5 узлов в выходном слое. Но каковы критерии выбора количества скрытых слоев в MLP и сколько нейронных узлы в 1 скрытом...
Я тренирую нейронную сеть для своего проекта с помощью Keras. Керас предусмотрел функцию ранней остановки. Могу ли я узнать, какие параметры следует соблюдать, чтобы моя нейронная сеть не переобучалась с помощью ранней остановки?...
Учитывая пример кода . Я хотел бы знать, как применить градиентное отсечение в этой сети в RNN, где есть возможность взрывных градиентов. tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) Это пример, который можно использовать, но где мне его представить? В деф РНН lstm_cell =...
Недавно я рассмотрел интересную реализацию классификации сверточного текста . Однако весь код TensorFlow, который я рассмотрел, использует случайные (не предварительно обученные) векторы внедрения, например следующие: with tf.device('/cpu:0'), tf.name_scope("embedding"): W = tf.Variable(...
Я обнаружил, что во многих доступном коде нейронных сетей, реализованном с использованием TensorFlow, условия регуляризации часто реализуются путем добавления вручную дополнительного члена к значению потерь. Мои вопросы: Есть ли более элегантный или рекомендуемый способ регуляризации, чем это...
Я пытался воспроизвести, как использовать упаковку для входных данных последовательности переменной длины для rnn, но я думаю, что сначала мне нужно понять, почему нам нужно «упаковать» последовательность. Я понимаю, почему нам нужно их «прокладывать», но почему это pack_padded_sequenceнеобходимо?...