Оцениваете производительность регрессионной модели с использованием обучающих и тестовых наборов?

10

Я часто слышу об оценке эффективности модели классификации, проводя тестовый набор и обучая модель на тренировочном наборе. Затем создаем 2 вектора, один для прогнозируемых значений и один для истинных значений. Очевидно, что сравнение позволяет судить о производительности модели по ее прогнозирующей способности, используя такие вещи, как F-Score, Kappa Statistic, Precision & Recall, ROC-кривые и т. Д.

Как это соотносится с оценкой численного предсказания, такого как регрессия? Я предполагаю, что вы можете обучить регрессионную модель на обучающем наборе, использовать ее для прогнозирования значений, а затем сравнить эти предсказанные значения с истинными значениями, содержащимися в тестовом наборе. Очевидно, что показатели эффективности должны были бы быть другими, поскольку это не является задачей классификации. Обычные невязки и статистика являются очевидными показателями, но существуют ли более / более эффективные способы оценки производительности для регрессионных моделей? Кажется, что у классификации есть так много вариантов, но регрессия остается до и остатков.R 2р2р2

StatTime
источник
1
Я не уверен, какой именно вопрос вы задаете, но очевидной метрикой ошибки для регрессионной модели с непрерывным выходным значением является среднеквадратическая ошибка (MSE) между выходным значением модели и выходной переменной.
BGreene
Так что просто мера ошибки между фактическим и прогнозируемым.
StatTime
Да, оптимизирован для тренировочного набора и проверен с использованием тестового набора.
BGreene

Ответы:

2

Как уже было сказано, обычно используется средняя квадратическая ошибка. Вы рассчитываете свою регрессионную модель на основе вашего обучающего набора и оцениваете ее эффективность, используя отдельный набор тестов (набор на входах x и известные прогнозируемые выходы y), вычисляя MSE между выходами тестового набора (y) и полученными выходами. по модели (F (X)) для тех же заданных входов (X).

В качестве альтернативы вы можете использовать следующие метрики: средняя квадратная ошибка, относительная квадратная ошибка, средняя абсолютная ошибка, относительная абсолютная ошибка ... (запросите определения в Google)

Мерима Кулин
источник
еррзнак равноAΣ(Икс-Икся)+ВΣ(Икс-Икся)2