Средняя абсолютная масштабированная ошибка (MASE) является мерой точности прогноза, предложенной Koehler & Hyndman (2006) .
где - средняя абсолютная ошибка, произведенная фактическим прогнозом;
в то время как - это средняя абсолютная ошибка, создаваемая наивным прогнозом (например, прогнозом без изменений для интегрированного временного ряда ), рассчитанным на данных в выборке.М Е я п - ев м р л е ,
я(1)
(Проверьте документ Koehler & Hyndman (2006) для точного определения и формулы.)
означает, что фактический прогноз хуже выборки, чем наивный прогноз в выборке, с точки зрения средней абсолютной ошибки. Таким образом, если средняя абсолютная ошибка является релевантной мерой точности прогноза (которая зависит от рассматриваемой проблемы), предполагает, что фактический прогноз следует отбросить в пользу наивного прогноза, если мы ожидаем, что данные вне выборки быть очень похожи на данные в выборке (потому что мы знаем только, насколько хорошо наивный прогноз выполняется в выборке, а не в выборке).
Вопрос:
был использован в качестве ориентира в конкурсе прогнозирования, предложенном в этом сообщении в блоге Hyndsight . очевидный тест не должен был быть ?
Конечно, этот вопрос не является специфическим для конкретной конкуренции прогнозирования. Я хотел бы помочь с пониманием этого в более общем контексте.
Мое предположение:
Единственное разумное объяснение, которое я вижу, состоит в том, что наивный прогноз, как ожидается, будет делать гораздо хуже в выборке, чем в выборке, например, из-за структурных изменений. Тогда может быть слишком сложным для достижения.
Ссылки:
- Хиндман, Роб Дж. И Энн Б. Келер. « Еще один взгляд на показатели точности прогноза ». Международный журнал прогнозирования 22.4 (2006): 679-688.
- Сообщение в блоге Hyndsight .
источник
Ответы:
В связанном сообщении в блоге Роб Хиндман призывает к участию в конкурсе по прогнозированию туризма. По сути, сообщение в блоге служит для того, чтобы привлечь внимание к соответствующей статье IJF , версия без шлюза , на которую ссылается сообщение в блоге.
Ориентиры, на которые вы ссылаетесь - 1,38 для месячных, 1,43 для квартальных и 2,28 для годовых - очевидно, были получены следующим образом. Авторы (все они являются опытными прогнозистами и очень активны в ИИФ - здесь нет продавцов змеиной нефти) вполне способны применять стандартные алгоритмы прогнозирования или программное обеспечение прогнозирования, и они, вероятно, не заинтересованы в простом представлении ARIMA. Поэтому они пошли и применили некоторые стандартные методы к своим данным. Чтобы победившая заявка была приглашена для работы в IJF , они просят, чтобы она улучшила лучшие из этих стандартных методов, измеренных MASE.
Таким образом, ваш вопрос сводится к следующему:
Здесь 1.38 MASE взято из Таблицы 4 в версии без шлюза. Это среднее значение ASE за 1-24 месяца вперед по прогнозам ARIMA. Другие стандартные методы, такие как ForecastPro, ETS и т. Д., Работают еще хуже.
Так что я бы сказал, что вы, вероятно, не можете сказать много об этом, хотя сами смотрите на данные. Они доступны на Kaggle. Ваша лучшая ставка, скорее всего, состоит в том, чтобы взять эти серии 518, продержаться последние 24 месяца, подойти к серии ARIMA, рассчитать MASE, выкопать десять или двадцать серий с худшим прогнозом MASE, получить большой горшок кофе, посмотреть на эти серии и попробовать выяснить, что же делает модели ARIMA настолько плохими в прогнозировании.
РЕДАКТИРОВАТЬ: еще один момент, который кажется очевидным после того, как факт, но мне потребовалось пять дней, чтобы увидеть - помните, что знаменатель MASE является на один шаг вперед в прогнозе случайного блуждания в выборке, в то время как числитель является средним от 1-24- Прогнозы на шаг впереди . Не слишком удивительно, что прогнозы ухудшаются с увеличением горизонта, так что это может быть еще одна причина для MASE 1,38. Обратите внимание, что прогноз Seasonal Naive также был включен в тест и имел еще более высокий показатель MASE.
источник
Не ответ, а заговор после призыва Стефана Коласса «взглянуть на эти серии».
Kaggle Tourism1 имеет 518 ежегодных временных рядов, для которых мы хотим предсказать последние 4 значения:
Очевидно, что очень короткие серии - 12 11 7 7 7 ... в верхнем ряду - предсказать сложно: неудивительно.
(Athanasopoulos, Hyndman, Song and Wu, Конкурс по прогнозированию туризма (2011, 23 стр.) Использовал 112 из 518 ежегодных серий, но я не вижу, какие из них.)
Существуют ли другие, более новые коллекции временных рядов, начиная с 2010 года, на которые стоит обратить внимание?
источник