Я новичок в области глубокого обучения, и для меня первым шагом было прочитать интересные статьи с сайта deeplearning.net. В статьях о глубоком обучении Хинтон и другие в основном говорят о применении его к проблемам изображения. Может кто-нибудь попытаться ответить мне, может ли это быть применено к проблеме прогнозирования значений временных рядов (финансовых, интернет-трафика, ...) и на какие важные вещи я должен обратить внимание, если это возможно?
54
Ответы:
Была проведена некоторая работа по адаптации методов глубокого обучения для последовательных данных. Большая часть этой работы была сосредоточена на разработке «модулей», которые могут быть сложены способом, аналогичным стекированию ограниченных машин Больцмана (RBM) или автоэнкодеров для формирования глубокой нейронной сети. Я выделю несколько ниже:
источник
Да, глубокое обучение может применяться для прогнозирования временных рядов. На самом деле, это было сделано уже много раз, например:
На самом деле это не какой-то «особый случай», глубокое обучение в основном связано с методом предварительной обработки (основанным на генеративной модели), поэтому вам нужно сосредоточиться на тех же вещах, на которых вы сосредоточены, когда вы делаете глубокое обучение в «традиционном смысле» на одном руки, и те же вещи, на которых вы сосредотачиваетесь, выполняя предсказания временных рядов без глубокого изучения.
источник
Рекуррентные нейронные сети считаются типом глубокого обучения (DL). Я думаю, что они являются наиболее популярным инструментом DL для (1d) последовательного обучения. В настоящее время они являются основой подходов нейронного машинного перевода (NMT) (впервые в 2014 году в LISA (UdeM), Google и, возможно, нескольких других, которых я не помню).
источник
При генерации последовательностей Алекса Грейвса с помощью рекуррентных нейронных сетей используются рекуррентные сети и ячейки долгосрочной кратковременной памяти для прогнозирования текста и синтеза почерка.
Андрей Карпатий написал блог о создании последовательностей на уровне персонажа с нуля. Он использует RNN в своем уроке.
Для большего количества примеров вы должны взглянуть на Hochreiter S., & Schmidhuber, J. (1997). Долгая кратковременная память. Нейронные вычисления, 9 (8), 1735-1780.
источник
Может быть, это поможет:
Если у вас есть определение для вашего точного временного окна для данных, таких как предложения в этом документе или абзацах, то вы будете в порядке с использованием LSTM, но я не уверен, как найти временное окно, которое не очевидно и более учитывает контекст. Примером этого может быть то, как много данных журнала, которые вы видите, связаны между собой, и это не является чем-то очевидным.
источник