Это необычно для MEAN превзойти ARIMA?

38

Недавно я применил ряд методов прогнозирования (MEAN, RWF, ETS, ARIMA и MLP) и обнаружил, что MEAN оказался на удивление хорошо. (СРЕДСТВО: где все будущие прогнозы предсказываются как равные среднему арифметическому наблюдаемых значений.) Средство даже превосходило ARIMA в трех сериях, которые я использовал.

Что я хочу знать, если это необычно? Означает ли это, что временные ряды, которые я использую, странные? Или это указывает на то, что я что-то настроил неправильно?

Энди Т
источник
@Mehrdad можно было бы придумать хороший ответ вокруг Мартингалс.
shadowtalker
1
Обычно простые методы работают хорошо, особенно вне образца (вот где это важно). Этот эффект усиливается на коротких сериях. Если нет последовательной корреляции или тренда, мы ожидаем, что среднее значение будет очень хорошим даже для относительно длинных серий.
Glen_b

Ответы:

31

Я практик, как производитель, так и пользователь прогнозирования, а не опытный статистик. Ниже я поделюсь некоторыми своими мыслями о том, почему ваш средний прогноз оказался лучше, чем ARIMA, ссылаясь на исследовательскую статью, основанную на эмпирических данных. Одна книга, которую я снова и снова возвращаюсь к этой книге, - это книга Армстронга « Принципы прогнозирования » и ее веб-сайт, который я бы рекомендовал в качестве отличного прочтения для любого прогнозиста, дает отличное представление об использовании и руководящих принципах методов экстраполяции.

Чтобы ответить на первый вопрос - что я хочу знать, если это необычно?

Существует глава «Экстраполяция для временных рядов и данных поперечного сечения», которая также доступна бесплатно на том же веб-сайте . Ниже приводится цитата из главы

«Например, в M2-соревновании в реальном времени, в котором рассматривались 29 месячных серий, Box-Jenkins оказался одним из наименее точных методов, и его общая медианная ошибка была на 17% больше, чем для наивного прогноза»

Существует эмпирическое доказательство того, почему ваши средние прогнозы были лучше, чем модели ARIMA.

Также было проведено исследование за исследованием в эмпирических соревнованиях и третьем соревновании M3, которые показывают, что подход Box - Jenkins ARIMA не дает точного прогноза и не имеет доказательств того, что он работает лучше для экстраполяции одномерного тренда.

На том же сайте есть еще одна статья и текущее исследование Грина и Армстронга под названием « Простое прогнозирование: избегайте слез перед сном ». Авторы статьи резюмируют следующее:

В общей сложности мы определили 29 работ, включающих 94 формальных сравнения точности прогнозов на основе сложных методов и простых, но не во всех случаях сложных методов. Восемьдесят три процента сравнений обнаружили, что прогнозы, полученные с помощью простых методов, были более точными, чем прогнозы, полученные с помощью сложных методов. В среднем, ошибки прогнозов с помощью сложных методов были примерно на 32% больше, чем ошибки прогнозов с помощью простых методов в 21 исследовании, в котором сравниваются ошибки.

Чтобы ответить на ваш третий вопрос : означает ли это, что я что-то настроил неправильно? Нет, я бы рассматривал ARIMA как сложный метод, а среднее прогнозирование - как простые методы. Существует достаточно доказательств того, что простые методы, такие как среднее прогнозирование, превосходят сложные методы, такие как ARIMA.

Чтобы ответить на ваш второй вопрос : означает ли это, что ряды времен, которые я использую, странные?

Ниже приведены данные экспертов по прогнозированию в реальном мире.

  • Макридакис (Пионерский эмпирический конкурс по прогнозированию под названием M, M2 и M3 и проложенный путь для основанных на фактических данных методов прогнозирования)
  • Армстронг (Предоставляет ценные сведения в виде книг / статей по практике прогнозирования)
  • Гарднер (Invented Damped Trend экспоненциальное сглаживание - еще один простой метод, который удивительно хорошо работает против ARIMA)

Все вышеперечисленные исследователи выступают за простоту (методы, подобные вашему среднему прогнозу) против сложных методов, таких как ARIMA. Поэтому вам должно быть комфортно, если ваши прогнозы хороши и всегда предпочитают простоту, а не сложность, основанную на эмпирических данных. Все эти исследователи внесли огромный вклад в область прикладного прогнозирования.

В дополнение к Стефану хороший список простых методов прогнозирования. есть также другой метод, называемый методом тэта-прогнозирования, который является очень простым методом (в основном простое экспоненциальное сглаживание со смещением, равным 1/2 наклона линейной регрессии), я бы добавил это к вашей панели инструментов. Forecast package in Rреализует этот метод.

предсказатель
источник
2
Мне действительно нравится точка зрения на прогнозирование и доказательства, которые вы приводите в его поддержку, но элементы этого ответа нежелательны, потому что они читаются слишком громко, как напыщенная речь против «статистиков» или, возможно, против формального обучения статистике - и совершенно ошибочны , Например, ученые степени Makridakis' в (угадайте , что?) Статистика , это то , что он учит, и это то, что он делает.
whuber
1
Понял, я его уберу. Я пытался подчеркнуть, что основные достижения в области методов, основанных на фактических данных, были достигнуты не статистиками. Но я вижу вашу точку зрения, что это может произойти так
синоптик
Готово Кроме того, Макридакис, доктор философии, был в информационных системах управления согласно этому опубликованному интервью
синоптик
FWIW, его страница LinkedIn - которую он поддерживает - перечисляет обоих его докторов в статистике. Но аргумент бессмысленный: утверждать, что кто-то не является статистиком, потому что его степень не может быть конкретно в статистике, имеет небольшое значение и здесь не имеет смысла. (До недавнего времени большинство людей, чья карьера
работала
2
+1. Тем не менее, вы пишете: «Существует эмпирическое доказательство того, почему ваши средние прогнозы были лучше, чем модели ARIMA». - нет, это только говорит нам, что среднее было лучше (в данном конкретном случае), а не почему . Я бы перевернул спор и возложил бремя доказывания на ARIMA и другие модели. Я никогда не понимал, почему процесс генерирования данных должен заботиться о прошлых ошибках в моей модели, которые, по сути, обозначают в MA модели. Мое личное подозрение в том, что ARIMA настолько популярен, потому что на самом деле вы можете доказать такие вещи, как корни юнитов и стационарность, а не потому, что он хорошо прогнозирует.
С. Коласса - Восстановить Монику
36

Это совсем не удивительно . В прогнозировании вы очень часто обнаруживаете, что чрезвычайно простые методы, такие как

  • общее среднее
  • случайное блуждание наивно (т. е. последнее наблюдение, использованное в качестве прогноза)
  • сезонная случайная прогулка (то есть наблюдение из года назад)
  • Одиночное экспоненциальное сглаживание

превзойти более сложные методы. Вот почему вы всегда должны проверять свои методы на соответствие этим очень простым тестам.

Цитата из Джорджа Атаносопулоса и Роба Хиндмана (которые являются экспертами в этой области):

Некоторые методы прогнозирования очень просты и удивительно эффективны.

Обратите внимание, как они явно говорят, что будут использовать некоторые очень простые методы в качестве эталонов.

На самом деле весь их бесплатный открытый онлайн-учебник по прогнозированию очень рекомендуется.

РЕДАКТИРОВАТЬ: Один из наиболее приемлемых показателей погрешности прогноза - «Средняя абсолютная масштабированная ошибка» (MASE) от Hyndman & Koehler (см. Также здесь ) - измеряет, насколько данный прогноз улучшается для (в выборке) наивного прогноза случайного блуждания: если MASE <1, ваш прогноз лучше случайного блуждания в выборке. Вы ожидаете, что это будет легко победить, верно?

Не так: иногда даже лучший из множества стандартных методов прогнозирования, таких как ARIMA или ETS, дает только MASE 1,38, то есть хуже (вне выборки), чем (случайный) прогноз случайного блуждания. Это достаточно смущает, чтобы вызвать вопросы здесь. (Этот вопрос не является дубликатом этого вопроса, поскольку MASE сравнивает точность вне выборки с точностью внутри выборки наивного метода, но это также полезно для настоящего вопроса.)

С. Коласса - Восстановить Монику
источник
1
Спасибо, что согласились, но, возможно, вы хотите подождать целый день - если вопрос принял ответы, меньшее количество людей даже прочитает его, не говоря уже о комментариях или ответах. И другие люди могут иметь разные взгляды на это. Не стесняйтесь принять ;-)
С. Коласса - Восстановить Монику
Это очень честно с вашей стороны :) Я дам ему день. Спасибо.
Энди Т
9
«сложный» является близким родственником «переоснащенного».
shadowtalker
1
+1 хороший ответ. Если бы прогнозирование было основано на доказательствах, таких как медицина, метод ARIMA был бы историей.
синоптик
2
Простое ARIMA без проверки гауссовых предположений уже стало историей для большинства из нас, НО, очевидно, не для всех!
IrishStat