Keras LSTM с 1D временными рядами

Я изучаю, как использовать Keras, и я добился разумного успеха с моим помеченным набором данных, используя примеры в Chollet Deep Learning for Python . Набор данных ~ 1000 временных рядов с длиной 3125 с 3 потенциальными классами.

Я хотел бы выйти за рамки базовых плотных слоев, которые дают мне около 70% прогнозирования, и далее в книге обсуждаются уровни LSTM и RNN.

Кажется, что во всех примерах используются наборы данных с несколькими функциями для каждой временной серии, и я изо всех сил пытаюсь понять, как реализовать мои данные в результате.

Если, например, у меня есть временной ряд 1000x3125, как мне передать это во что-то вроде слоя SimpleRNN или LSTM? Мне не хватает фундаментальных знаний о том, что делают эти слои?

Текущий код:

import pandas as pd
import numpy as np
import os
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM, Dropout, SimpleRNN, Embedding, Reshape
from keras.utils import to_categorical
from keras import regularizers
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

def readData():
    # Get labels from the labels.txt file
    labels = pd.read_csv('labels.txt', header = None)
    labels = labels.values
    labels = labels-1
    print('One Hot Encoding Data...')
    labels = to_categorical(labels)

    data = pd.read_csv('ts.txt', header = None)

    return data, labels

print('Reading data...')
data, labels = readData()

print('Splitting Data')
data_train, data_test, labels_train, labels_test = train_test_split(data, labels)

print('Building Model...')
#Create model
model = Sequential()
## LSTM / RNN goes here ##
model.add(Dense(3, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

print('Training NN...')
history = model.fit(data_train, labels_train, epochs=1000, batch_size=50,
    validation_split=0.25,verbose=2)

results = model.evaluate(data_test, labels_test)

predictions = model.predict(data_test)

print(predictions[0].shape)
print(np.sum(predictions[0]))
print(np.argmax(predictions[0]))

print(results)

acc = history.history['acc']
val_acc = history.history['val_acc']
epochs = range(1, len(acc) + 1)

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and Validation Accuracy')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

Слоям LSTM требуются данные другой формы.

Из вашего описания я понимаю, что начальный набор данных содержит 3125 строк и 1000 столбцов, где каждая строка представляет собой один временной шаг. Целевая переменная должна иметь 3125 строк и 1 столбец, где каждое значение может быть одним из трех возможных значений. Похоже, что вы делаете проблему классификации. Чтобы проверить это в коде, я бы сделал:

>>> X.shape
(3125, 1000)

>>> y.shape
(1000,)

Класс LSTM требует, чтобы каждый отдельный образец состоял из «блока» времени. Допустим, вы хотите иметь блок из 100 временных шагов. Это означает X[0:100], что единственная входная выборка соответствует целевой переменной at y[100]. это означает, что размер вашего окна (то есть количество временных шагов или количество лагов) равен 100. Как указано выше, у вас есть 3125 выборок, поэтому N = 3125. Чтобы сформировать первый блок, мы, к сожалению, должны отбросить первые 100 выборок y, так как мы не можем сформировать целый блок из 100 доступных данных (в конечном итоге нам понадобятся точки данных X[0]).

Учитывая все это, LSTM требует, чтобы вы доставляли партии в форме (N - window_size, window_size, num_features), что означает (3125 - 100, 100, 1000)== (3025, 100, 1000).

Создание этих временных блоков немного хлопотно, но однажды создайте хорошую функцию, а затем сохраните ее :)

Предстоит проделать большую работу, возможно, посмотрите более подробные примеры моего объяснения выше здесь ... или прочитайте документацию по LSTM (или, что еще лучше, исходный код! ).

Окончательная модель будет достаточно простой (на основе вашего кода):

#Create model
model = Sequential()
model.add(LSTM(units=32, activation='relu',
               input_shape=(100, 1000))    # the batch size is neglected!
model.add(Dense(3, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam',
              metrics=['accuracy'])

Посмотрите документацию, касающуюся формы ввода для Sequentialмодели . В основном это говорит о том, что нам не нужно указывать количество партий внутри input_shape. Это может быть сделано, например batch_size=50, если вам нужно, чтобы он был фиксированным числом.

Я знаю, что input_shapeаргумент отсутствует в документации для LSTM, но сам класс наследует от RNN, который, в свою очередь, наследует от Layer- так что он сможет использовать предоставленную вами информацию.

Последний совет: если вы планируете добавить несколько слоев LSTM («укладывать их»), вам нужно добавить еще один аргумент для всех, кроме последнего LSTM , а именно return_sequences=True.