MAD = среднее абсолютное отклонение MSE = средняя квадратическая ошибка
Я видел предложения из разных мест о том, что MSE используется, несмотря на некоторые нежелательные качества (например, http://www.stat.nus.edu.sg/~staxyc/T12.pdf , где говорится на стр. 8). Обычно считается, что MAD является лучшим критерием, чем MSE. Однако математически MSE удобнее, чем MAD. ")
Есть ли что-то большее, чем это? Есть ли документ, в котором подробно анализируются ситуации, в которых различные методы измерения ошибки прогноза более / менее подходят? Мои поиски в Google ничего не показали.
Подобный вопрос был задан по адресу /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , и пользователю было предложено пост на stats.stackexchange.com, но я не думаю, что они когда-либо делали.
источник
Ответы:
Чтобы решить, какую точечную погрешность использовать, нам нужно сделать шаг назад. Обратите внимание, что мы не знаем точно будущих результатов, и никогда не узнаем. Таким образом, будущий результат следует за распределением вероятностей . Некоторые методы прогнозирования явно выдают такое полное распределение, а некоторые нет - но оно всегда есть, хотя бы неявно.
Теперь мы хотим получить хорошую погрешность для точечного прогноза . Такой точечный прогнозFt является нашей попыткой обобщить то, что мы знаем о будущем распределении (т. Е. Прогнозном распределении) во времениt используя одно число, так называемыйфункционалбудущей плотности. Мера ошибки, таким образом, является способом оценки качества этого краткого резюме.
Таким образом, вы должны выбрать меру ошибки, которая вознаграждает «хорошие» итоговые значения (неизвестные, возможно прогнозируемые, но, возможно, только неявные) будущих плотностей.
Проблема заключается в том, что разные показатели ошибок минимизируются разными функционалами. Ожидаемая MSE сводится к минимуму ожидаемым значением будущего распределения. Ожидаемое MAD минимизируется медианой будущего распределения. Таким образом, если вы откалибруете свои прогнозы, чтобы минимизировать MAE, ваш точечный прогноз будет будущей медианой, а не будущим ожидаемым значением, и ваши прогнозы будут смещены, если ваше будущее распределение не будет симметричным.
Это наиболее актуально для данных подсчета, которые обычно искажены. В крайних случаях (скажем, распределение Пуассона распределяется со средним значениемжурнал2 ≈ 0,69 ), ваш MAE будет наименьшим для прогноза с плоским нулем. Смотрите здесь или здесь или здесь для деталей.
Я даю дополнительную информацию и иллюстрацию в разделе «Каковы недостатки ошибки среднего абсолютного процента (MAPE)»?Этот поток рассматривает mape , но также и другие меры ошибки, и он содержит ссылки на другие связанные потоки.
В конце концов, какой показатель ошибки использовать, зависит от вашей стоимости ошибки прогноза, т. Е. Какой тип ошибки является наиболее болезненным. Не смотря на реальные последствия ошибок прогноза, любое обсуждение «лучших критериев» в принципе бессмысленно.
Меры точности прогноза были большой темой в сообществе прогнозистов несколько лет назад, и они все еще появляются время от времени. Одна очень хорошая статья - Hyndman & Koehler «Другой взгляд на показатели точности прогноза» (2006).
Наконец, одна альтернатива состоит в том, чтобы рассчитать полные прогностические плотности и оценить их, используя надлежащие правила подсчета .
источник
Преимущества использования MAE вместо MSE объясняются в Davydenko and Fildes (2016) , см. Раздел 3.1:
Ссылки
Давыденко А., & Филдес Р. (2016). Оценка ошибок прогноза: критический обзор и практические рекомендации. В прогнозировании бизнеса: практические проблемы и решения. Джон Вили и сыновья
источник
Фактически,
Если RMSE близка к MAE, у вас много небольших отклонений, если она близка к своей верхней границе, есть несколько крайне неправильных предсказаний.
источник