Как получить прогнозы с помощьюgnast_generator для потоковых тестовых данных в Keras?

В блоге Keras, посвященном обучению пользователей с нуля , код показывает только сеть, работающую с данными обучения и проверки. Как насчет тестовых данных? Являются ли данные проверки такими же, как данные испытаний (я думаю, что нет). Если в строках, похожих на папки с поездами и валидацией, была отдельная папка с тестами, как получить матрицу путаницы для тестовых данных? Я знаю, что для этого мы должны использовать Scikit Learn или какой-то другой пакет, но как мне получить что-то похожее на классовые вероятности для тестовых данных? Я надеюсь использовать это для матрицы путаницы.

Чтобы получить путаницу из тестовых данных, вы должны выполнить два шага:

1. Сделайте прогнозы для тестовых данных

Например, используйте model.predict_generatorдля прогнозирования первых 2000 вероятностей из тестового генератора.

generator = datagen.flow_from_directory(
        'data/test',
        target_size=(150, 150),
        batch_size=16,
        class_mode=None,  # only data, no labels
        shuffle=False)  # keep data in same order as labels

probabilities = model.predict_generator(generator, 2000)

2. Вычислить матрицу путаницы на основе прогнозов меток

Например, сравните вероятности со случаем, что на 1000 кошек и 1000 собак соответственно.

from sklearn.metrics import confusion_matrix

y_true = np.array([0] * 1000 + [1] * 1000)
y_pred = probabilities > 0.5

confusion_matrix(y_true, y_pred)

Дополнительное примечание о данных испытаний и проверки

Документация Keras использует три различных набора данных: данные обучения, данные проверки и данные испытаний. Данные обучения используются для оптимизации параметров модели. Данные проверки используются для выбора мета-параметров, например, количества эпох. После оптимизации модели с оптимальными мета-параметрами тестовые данные используются для получения достоверной оценки производительности модели.

Вот код, который я попробовал и работал для меня:

pred= model.predict_generator(validation_generator, nb_validation_samples // batch_size)
predicted_class_indices=np.argmax(pred,axis=1)
labels = (validation_generator.class_indices)
labels2 = dict((v,k) for k,v in labels.items())
predictions = [labels[k] for k in predicted_class_indices]
print(predicted_class_indices)
print (labels)
print (predictions)

Затем вы можете использовать:

print (confusion matrix(predicted_class_indices,labels)

Убедитесь, что вы используете shuffle=Falseв своем генераторе тестов (в моем случае это генератор валидации) и сбросите его с помощью, validation_generator.reset()прежде чем делать свои прогнозы.

Для путаницы матрицы вы должны использовать пакет sklearn. Я не думаю, что Керас может предоставить матрицу путаницы. Для прогнозирования значений в наборе тестов просто вызовите метод model.predict (), чтобы сгенерировать прогнозы для набора тестов. Тип выходных значений зависит от типа вашей модели, т. Е. Дискретного или вероятностного.