Вопросы с тегом «conv-neural-network»

24
Как инициализировать элементы матрицы фильтра?

Я пытаюсь лучше понять сверточные нейронные сети, написав код Python, который не зависит от библиотек (например, Convnet или TensorFlow), и я застрял в литературе о том, как выбирать значения для матрицы ядра, когда выполнение свертки на изображении. Я пытаюсь понять детали реализации в шаге между...

24
Как '12 CNN Крижевского получает 253,440 нейронов в первом слое?

В Alex Krizhevsky et al. При классификации Imagenet с глубокими сверточными нейронными сетями они перечисляют количество нейронов в каждом слое (см. Диаграмму ниже). Сетевой вход имеет размер 150 528, а число нейронов в остальных слоях сети составляет 253 440–186 624–64 896–64 896–43 264–...

23
Как можно интерпретировать гистограммы, данные TensorFlow в TensorBoard?

Недавно я бегал и изучал тензорный поток и получил несколько гистограмм, которые я не знал, как интерпретировать. Обычно я думаю о высоте столбцов как о частоте (или относительной частоте / числе). Тем не менее, тот факт, что в обычной гистограмме нет столбцов, и то, что все заштриховано, меня...

22
Relu против Sigmoid против Softmax как скрытые нейроны слоя

Я играл с простой нейронной сетью только с одним скрытым слоем от Tensorflow, а затем пробовал разные активации для скрытого слоя: Relu сигмоид Softmax (ну, обычно softmax используется в последнем слое ..) Relu дает лучшую точность поезда и точность проверки. Я не уверен, как это объяснить. Мы...

22
Почему вывод softmax не является хорошим показателем неопределенности для моделей глубокого обучения?

Я работаю с Convolutional Neural Networks (CNNs) в течение некоторого времени, в основном над данными изображений для семантической сегментации / сегментации экземпляров. Я часто представлял softmax выхода сети как «тепловую карту», ​​чтобы увидеть, насколько высоки активации на пиксель для...

22
Обратное распространение градиента через пропускаемые соединения ResNet

Мне любопытно, как градиенты распространяются обратно через нейронную сеть с помощью модулей ResNet / пропуска соединений. Я видел пару вопросов о ResNet (например, Нейронная сеть с пропускаемыми соединениями ), но этот вопрос специально задает о обратном распространении градиентов во время...

21
Как и почему Пакетная нормализация использует скользящие средние для отслеживания точности модели во время обучения?

Я читал статью о пакетной нормализации (BN) (1) и не понимал необходимости использовать скользящие средние для отслеживания точности модели, и даже если я признал, что это было правильно, я не понимаю что они делают точно. Насколько я понимаю (что я могу ошибаться), в статье упоминается, что она...

21
Как работают узкие места в нейронных сетях?

Мы определяем архитектуру узких мест как тип, найденный в статье ResNet, где [два конвексных слоя 3x3] заменяются на [один конв 1x1, один конв 3x3 и еще один слой конвекс 1x1]. Я понимаю, что конвексные слои 1x1 используются как форма уменьшения размеров (и восстановления), что объясняется в другом...

21
Сверточная нейронная сеть для временных рядов?

Я хотел бы знать, существует ли код для обучения сверточной нейронной сети для классификации временных рядов. Я видел несколько недавних работ ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), но я не уверен, существует ли что-то или я должен написать это...

20
Это хорошая идея использовать CNN для классификации 1D сигнала?

Я работаю над классификацией стадии сна. Я читал некоторые исследовательские статьи на эту тему, многие из них использовали SVM или метод ансамбля. Является ли хорошей идеей использовать сверточную нейронную сеть для классификации одномерного сигнала ЭЭГ? Я новичок в такой работе. Простите, если я...

20
В чем разница между инициализатором масштабирования дисперсии и инициализатором xavier?

Я обнаружил, что в реализации ResNet от Tensorflow они используют инициализатор дисперсионного масштабирования, а также популярный инициализатор xavier . У меня нет большого опыта в этом, что лучше на...

19
В чем разница между «трансферным обучением» и «адаптацией предметной области»?

Есть ли разница между «трансферным обучением» и «адаптацией предметной области»? Я не знаю насчет контекста, но, насколько я понимаю, у нас есть некоторый набор данных 1, и мы обучаем его, после чего у нас есть еще один набор данных 2, для которого мы хотим адаптировать нашу модель без переобучения...

19
В чем разница между Conv1D и Conv2D?

Я проходил документооборот по керасам и нашел два типа конвульсий Conv1D и Conv2D. Я выполнил поиск в Интернете, и это то, что я понимаю о Conv1D и Conv2D; Conv1D используется для последовательностей, а Conv2D - для изображений. Я всегда думал, что нервные сети свертки использовались только для...

19
Сверточные слои: дополнять или не дополнять?

Архитектура AlexNet использует заполнение нулями, как показано на рисунке: Однако в статье нет объяснения, почему вводится это заполнение. Курс Standford CS 231n учит, что мы используем отступы для сохранения пространственного размера: Мне интересно, это единственная причина, по которой нам нужно...

18
О CNN, ядрах и инвариантности масштаба / вращения

У меня есть пара вопросов, которые смущают меня относительно CNN. 1) Функции, извлеченные с использованием CNN, инвариантны относительно масштаба и вращения? 2) Ядра, которые мы используем для свертки с нашими данными, уже определены в литературе? что это за ядра? это отличается для каждого...

18
Что вызывает внезапное падение ошибок обучения / тестирования при обучении нейронной сети?

Я видел графики ошибок тестирования / обучения, внезапно падающих в определенные эпохи несколько раз во время обучения нейронной сети, и мне интересно, что вызывает эти скачки производительности: Это изображение взято из Kaiming He's Github, но подобные графики появляются во многих статьях....

18
Почему максимальный пул необходим в сверточных нейронных сетях?

Наиболее распространенные сверточные нейронные сети содержат слои пула для уменьшения размеров выходных объектов. Почему я не могу достичь того же, просто увеличив шаг сверточного слоя? Что делает необходимым объединение...

16
Какое значение имеет количество сверточных фильтров в сверточной сети?

Каково количество фильтров в слое свертки? Как это число влияет на производительность или качество архитектуры? Я имею в виду, мы должны всегда выбирать большее количество фильтров? что хорошего в них? и как люди назначают различное количество фильтров для разных слоев? Я имею в виду, глядя на этот...