Каковы недостатки средней абсолютной ошибки в процентах (MAPE)?

Процент ошибки Среднего Absolute ( Мапэ ) является общей точностью или мера ошибки для временных рядов или других предсказаний,

где - фактические данные, а соответствующие прогнозы или прогнозы.F $A_t$$F_t$

MAPE - это процент, поэтому мы можем легко сравнить его между сериями, а люди могут легко понять и интерпретировать проценты.

Тем не менее, я слышал, что у MAPE есть недостатки. Я хотел бы лучше понять эти недостатки, чтобы я мог принять обоснованное решение о том, использовать ли MAPE или какую-либо альтернативу, такую ​​как MSE ( mse ), MAE ( mae ) или MASE ( mase ).

Недостатки MAPE

• MAPE, в процентах, имеет смысл только для значений, где деление и соотношение имеют смысл. Например, не имеет смысла вычислять проценты температур, поэтому вам не следует использовать MAPE для вычисления точности прогноза температуры.

• Если только один факт равен нулю, , тогда вы делите на ноль при расчете MAPE, который не определен.$A_t=0$

  Оказывается, что некоторые программы прогнозирования, тем не менее, сообщают о MAPE для таких рядов, просто отбрасывая периоды с нулевыми фактическими значениями ( Hoover, 2006 ). Излишне говорить, что это не очень хорошая идея, так как подразумевает, что нам абсолютно все равно, что мы прогнозировали, если фактическое значение было равно нулю, но прогноз и один из могут иметь очень разные значения. , Поэтому проверьте, что делает ваше программное обеспечение.$F_t=100$$F_t=1000$

  Если встречается только несколько нулей, вы можете использовать взвешенную MAPE ( Kolassa & Schütz, 2007 ), которая, тем не менее, имеет свои собственные проблемы. Это также относится к симметричной MAPE ( Goodwin & Lawton, 1999 ).

• MAPEs могут превышать 100%. Если вы предпочитаете работать с точностью, которую некоторые люди определяют как 100% -MAPE, то это может привести к отрицательной точности, которую людям трудно понять. ( Нет, усечение с точностью до нуля не очень хорошая идея. )

• Если у нас есть строго положительные данные, которые мы хотим прогнозировать (и выше, MAPE не имеет смысла в противном случае), то мы никогда не будем прогнозировать ниже нуля. MAPE, к сожалению, обрабатывает повышенные прогнозы иначе, чем предварительные прогнозы: недостаточный прогноз никогда не даст более 100% (например, если и ), но вклад избыточного прогноза не ограничен (например, если и ). Это означает, что MAPE может быть ниже для необъективных прогнозов, чем для непредвзятых. Минимизация этого может привести к прогнозам, которые являются предвзятыми$F_t=0$$A_t=1$$F_t=5$$A_t=1$

Особенно последний пункт заслуживает немного больше мысли. Для этого нам нужно сделать шаг назад.

Для начала, обратите внимание, что мы не знаем точно будущих результатов, и никогда не узнаем. Таким образом, будущий результат следует за распределением вероятностей. Наш так называемый точечный прогноз - это наша попытка обобщить то, что мы знаем о будущем распределении (т. Прогнозном распределении ) в момент времени используя одно число. MAPE - это мера качества всей последовательности таких кратных сумм будущих распределений в моменты времени .$F_t$ t t = 1 , … , n$t$$t=1, \dots, n$

Проблема в том, что люди редко прямо говорят, что такое хорошая сводка из одного номера будущего распределения.

Когда вы говорите с прогнозируемыми потребителями, они обычно хотят, чтобы был верным «в среднем». То есть они хотят, чтобы было ожиданием или средним значением будущего распределения, а не, скажем, его медианой.$F_t$$F_t$

Вот проблема: сведение к минимуму MAPE, как правило, не стимулирует нас выводить это ожидание, а представляет собой совсем другое резюме по одному числу ( McKenzie, 2011 , Kolassa, 2020 ). Это происходит по двум различным причинам.

• Асимметричные распределения в будущем. Предположим, что наше истинное будущее распределение следует за стационарным логнормальным распределением. На следующем рисунке показан смоделированный временной ряд, а также соответствующая плотность.$(\mu=1,\sigma^2=1)$

  

  Горизонтальные линии дают оптимальные точечные прогнозы, где «оптимальность» определяется как минимизация ожидаемой ошибки для различных показателей ошибки.

  • Пунктирная линия в минимизирует ожидаемое значение MSE. Это ожидание временного ряда.$F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • Пунктирная линия в минимизирует ожидаемое значение MAE. Это медиана временного ряда.$F_t=\exp\mu\approx 2.7$
  • Пунктирная линия в минимизирует ожидаемую MAPE. Это (-1) -медиан временного ряда ( Gneiting, 2011 , p. 752 с ), который в конкретном случае логнормального распределения оказывается совпадающим с модой распределения .$F_t=\exp(\mu-\sigma^2)=1.0$β = - 1$\beta=-1$

  Мы видим, что асимметрия будущего распределения, а также тот факт, что MAPE по-разному наказывает завышенные и заниженные прогнозы, подразумевает, что минимизация MAPE приведет к сильно смещенным прогнозам. ( Вот расчет оптимальных точечных прогнозов в гамма-случае. )

• Симметричное распределение с высоким коэффициентом вариации. Предположим, что происходит от стандартного шестигранного кристалла в каждый момент времени . На рисунке ниже снова показан пример пути прохождения:$A_t$$t$

  

  В этом случае:

  • Пунктирная линия при минимизирует ожидаемое значение MSE. Это ожидание временного ряда.$F_t=3.5$

  • Любой прогноз (не показан на графике) сведет к минимуму ожидаемый MAE. Все значения в этом интервале являются медианами временного ряда.$3\leq F_t\leq 4$

  • Пунктирная линия минимизирует ожидаемую MAPE.$F_t=2$

  Мы снова видим, как сведение к минимуму MAPE может привести к предвзятому прогнозу из-за дифференциального штрафа, который применяется к завышенным и заниженным прогнозам. В этом случае проблема не в асимметричном распределении, а в высоком коэффициенте вариации нашего процесса генерирования данных.

  На самом деле это простая иллюстрация, которую вы можете использовать, чтобы рассказать людям о недостатках MAPE - просто дайте своим посетителям несколько кубиков и попросите их бросить. См. Kolassa & Martin (2011) для получения дополнительной информации.

Связанные перекрестные вопросы

• Разница между MSE и MAPE
• Лучший способ оптимизировать MAPE
• Минимизация средней симметричной абсолютной процентной ошибки (SMAPE)
• КАРТА против R-квадрата в регрессионных моделях
• Зачем использовать определенный показатель ошибки прогноза (например, MAD), а не другой (например, MSE)?

Код R

Логнормальный пример:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Пример игры в кости:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Ссылки

Гнейтинг, Т. Создание и оценка точечных прогнозов . Журнал Американской статистической ассоциации , 2011, 106, 746-762

Гудвин П. и Лотон Р. Об асимметрии симметричной карты . Международный журнал прогнозирования , 1999, 15, 405-408

Гувер Дж. Измерение точности прогноза: пропуски в современных двигателях прогнозирования и программном обеспечении для планирования спроса . Форсайт: Международный журнал прикладного прогнозирования , 2006, 4, 32-35

Коласса С. Почему «лучший» точечный прогноз зависит от погрешности или точности измерения (Приглашенный комментарий к конкурсу прогнозирования M4). Международный журнал прогнозирования , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Ошибки в процентах могут испортить ваш день (и как бросать кости показывает, как) . Форсайт: Международный журнал прикладного прогнозирования, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Преимущества отношения MAD / Среднее по сравнению с MAPE . Форсайт: Международный журнал прикладного прогнозирования , 2007, 6, 40-43

Маккензи, Дж. Средняя абсолютная процентная ошибка и систематическая ошибка в экономическом прогнозировании . Письма об экономике , 2011, 113, 259-262