Это необычно для MEAN превзойти ARIMA?

Недавно я применил ряд методов прогнозирования (MEAN, RWF, ETS, ARIMA и MLP) и обнаружил, что MEAN оказался на удивление хорошо. (СРЕДСТВО: где все будущие прогнозы предсказываются как равные среднему арифметическому наблюдаемых значений.) Средство даже превосходило ARIMA в трех сериях, которые я использовал.

Что я хочу знать, если это необычно? Означает ли это, что временные ряды, которые я использую, странные? Или это указывает на то, что я что-то настроил неправильно?

Я практик, как производитель, так и пользователь прогнозирования, а не опытный статистик. Ниже я поделюсь некоторыми своими мыслями о том, почему ваш средний прогноз оказался лучше, чем ARIMA, ссылаясь на исследовательскую статью, основанную на эмпирических данных. Одна книга, которую я снова и снова возвращаюсь к этой книге, - это книга Армстронга « Принципы прогнозирования » и ее веб-сайт, который я бы рекомендовал в качестве отличного прочтения для любого прогнозиста, дает отличное представление об использовании и руководящих принципах методов экстраполяции.

Чтобы ответить на первый вопрос - что я хочу знать, если это необычно?

Существует глава «Экстраполяция для временных рядов и данных поперечного сечения», которая также доступна бесплатно на том же веб-сайте . Ниже приводится цитата из главы

«Например, в M2-соревновании в реальном времени, в котором рассматривались 29 месячных серий, Box-Jenkins оказался одним из наименее точных методов, и его общая медианная ошибка была на 17% больше, чем для наивного прогноза»

Существует эмпирическое доказательство того, почему ваши средние прогнозы были лучше, чем модели ARIMA.

Также было проведено исследование за исследованием в эмпирических соревнованиях и третьем соревновании M3, которые показывают, что подход Box - Jenkins ARIMA не дает точного прогноза и не имеет доказательств того, что он работает лучше для экстраполяции одномерного тренда.

На том же сайте есть еще одна статья и текущее исследование Грина и Армстронга под названием « Простое прогнозирование: избегайте слез перед сном ». Авторы статьи резюмируют следующее:

В общей сложности мы определили 29 работ, включающих 94 формальных сравнения точности прогнозов на основе сложных методов и простых, но не во всех случаях сложных методов. Восемьдесят три процента сравнений обнаружили, что прогнозы, полученные с помощью простых методов, были более точными, чем прогнозы, полученные с помощью сложных методов. В среднем, ошибки прогнозов с помощью сложных методов были примерно на 32% больше, чем ошибки прогнозов с помощью простых методов в 21 исследовании, в котором сравниваются ошибки.

Чтобы ответить на ваш третий вопрос : означает ли это, что я что-то настроил неправильно? Нет, я бы рассматривал ARIMA как сложный метод, а среднее прогнозирование - как простые методы. Существует достаточно доказательств того, что простые методы, такие как среднее прогнозирование, превосходят сложные методы, такие как ARIMA.

Чтобы ответить на ваш второй вопрос : означает ли это, что ряды времен, которые я использую, странные?

Ниже приведены данные экспертов по прогнозированию в реальном мире.

• Макридакис (Пионерский эмпирический конкурс по прогнозированию под названием M, M2 и M3 и проложенный путь для основанных на фактических данных методов прогнозирования)
• Армстронг (Предоставляет ценные сведения в виде книг / статей по практике прогнозирования)
• Гарднер (Invented Damped Trend экспоненциальное сглаживание - еще один простой метод, который удивительно хорошо работает против ARIMA)

Все вышеперечисленные исследователи выступают за простоту (методы, подобные вашему среднему прогнозу) против сложных методов, таких как ARIMA. Поэтому вам должно быть комфортно, если ваши прогнозы хороши и всегда предпочитают простоту, а не сложность, основанную на эмпирических данных. Все эти исследователи внесли огромный вклад в область прикладного прогнозирования.

В дополнение к Стефану хороший список простых методов прогнозирования. есть также другой метод, называемый методом тэта-прогнозирования, который является очень простым методом (в основном простое экспоненциальное сглаживание со смещением, равным 1/2 наклона линейной регрессии), я бы добавил это к вашей панели инструментов. Forecast package in Rреализует этот метод.

Это совсем не удивительно . В прогнозировании вы очень часто обнаруживаете, что чрезвычайно простые методы, такие как

• общее среднее
• случайное блуждание наивно (т. е. последнее наблюдение, использованное в качестве прогноза)
• сезонная случайная прогулка (то есть наблюдение из года назад)
• Одиночное экспоненциальное сглаживание

превзойти более сложные методы. Вот почему вы всегда должны проверять свои методы на соответствие этим очень простым тестам.

Цитата из Джорджа Атаносопулоса и Роба Хиндмана (которые являются экспертами в этой области):

Некоторые методы прогнозирования очень просты и удивительно эффективны.

Обратите внимание, как они явно говорят, что будут использовать некоторые очень простые методы в качестве эталонов.

На самом деле весь их бесплатный открытый онлайн-учебник по прогнозированию очень рекомендуется.

РЕДАКТИРОВАТЬ: Один из наиболее приемлемых показателей погрешности прогноза - «Средняя абсолютная масштабированная ошибка» (MASE) от Hyndman & Koehler (см. Также здесь ) - измеряет, насколько данный прогноз улучшается для (в выборке) наивного прогноза случайного блуждания: если MASE <1, ваш прогноз лучше случайного блуждания в выборке. Вы ожидаете, что это будет легко победить, верно?

Не так: иногда даже лучший из множества стандартных методов прогнозирования, таких как ARIMA или ETS, дает только MASE 1,38, то есть хуже (вне выборки), чем (случайный) прогноз случайного блуждания. Это достаточно смущает, чтобы вызвать вопросы здесь. (Этот вопрос не является дубликатом этого вопроса, поскольку MASE сравнивает точность вне выборки с точностью внутри выборки наивного метода, но это также полезно для настоящего вопроса.)