Мне интересно, как интерпретировать рекуррентную архитектуру в контексте ЭЭГ. В частности, я думаю об этом как о рекуррентном CNN (в отличие от архитектур типа LSTM), но, возможно, это относится и к другим типам рекуррентных сетей.
Когда я читаю о R-CNN, они обычно объясняются в контексте классификации изображений. Они обычно описываются как «обучение во времени» или «включая влияние времени-1 на текущий ввод»
Такое толкование / объяснение становится действительно запутанным при работе с данными ЭЭГ. Пример использования R-CNN в данных ЭЭГ можно найти здесь
Представьте, что у меня есть тренировочные примеры, каждый из которых состоит из массива 1x512. Этот массив фиксирует показания напряжения для 1 электрода в 512 последовательных временных точках. Если я использую это в качестве входных данных для рекуррентного CNN (с использованием одномерных сверток), рекуррентная часть модели фактически не захватывает «время», верно? (как следует из описанных ранее описаний / объяснений), потому что в этом контексте время уже захвачено вторым измерением массива
Итак, с такой установкой, что на самом деле повторяющаяся часть сети позволяет нам моделировать то, что обычная CNN не может (если не время)?
Мне кажется, что повторение означает просто свертку, добавление результата к исходному вводу и повторную свертку. Это повторяется для x повторяющихся шагов. Какое преимущество на самом деле дает этот процесс?
Ответы:
Периодическая часть сети позволяет вам, вообще говоря, моделировать долгосрочные и краткосрочные зависимости. Таким образом, ваша модель может иметь некоторое чувство состояния.
Обычно это выгодно, если вы используете временные ряды. Например, если у вас есть данные с пульсометра, и вы хотели бы провести различие между отдыхом, стрессом и восстановлением. Если ваша точка данных сообщает, что ваша частота сердечных сокращений составляет 130, это зависит от того, восстанавливаете ли вы от высоких нагрузок или что-то еще.
Изменить: я забыл ваш второй вопрос.
Я мог бы придумать несколько возможных ответов. Свертывая повторяющуюся часть, вы как бы фильтруете ее. Таким образом, вы получите более чистый сигнал, и ошибки не будут накапливаться. Ванильный рн страдает от взрыва исчезающих градиентов, так что это может быть его подходом к его преодолению. Кроме того, вы встраиваете свои функции в rcnn, что, как он заявил, может привести к появлению новых путей использования. Что делает его менее склонным к переоснащению, тем самым более обобщаемым.
источник
источник
Помните, что CNN являются детекторами функций. Выходной сигнал сверточного слоя представляет собой матрицу, которая сигнализирует, где была обнаружена определенная особенность.
Следовательно, рекуррентные CNN представляют собой рекуррентные нейронные сети, которые изучают последовательности функций, где эти функции также изучаются во время обучения.
источник