Как обнаружить значительное изменение данных временных рядов из-за изменения «политики»?

15

Я надеюсь, что это правильное место, чтобы опубликовать это, я подумал разместить его на скептиках, но я думаю, они просто скажут, что исследование было статистически неверным. Меня интересует обратная сторона вопроса, как правильно это сделать.

На веб-сайте Quantified Self автор опубликовал результаты эксперимента по определенному показателю производительности, измеренному с течением времени и сопоставленном до и после внезапной остановки употребления кофе. Результаты оценивались субъективно, и автор полагал, что у него есть доказательства того, что произошли изменения во временных рядах, и это было связано с изменением политики (употребление кофе).

Это напоминает мне модели экономики. У нас только одна экономика (о которой мы заботимся в настоящее время), поэтому экономисты часто проводят по существу n = 1 экспериментов. Из-за этого данные почти наверняка автоматически коррелируются со временем. По словам ФРС, экономисты обычно следят за тем, как она инициирует политику, и пытаются решить, изменился ли временной ряд, возможно, из-за политики.

Каков подходящий тест, чтобы определить, увеличился или уменьшился временной ряд на основании данных? Сколько данных мне нужно? Какие инструменты существуют? Мои первые поиски в Google предполагают, что Марков переключает модели временных рядов, но не мои навыки поиска в Google не помогают мне делать что-либо только с названием техники.

MatthewMartin
источник

Ответы:

4

Документ Box-Tiao, на который ссылается Джейсон, основан на известном изменении закона. Вопрос здесь в том, как определить момент времени. Ответ заключается в том, чтобы использовать процедуру Цея для выявления вмешательств, будь то импульсы, сдвиги уровня, сезонные импульсы и / или тенденции местного времени.

IrishStat
источник
1

Просматривая некоторые старые заметки о структурных сдвигах, у меня есть эти два цитирования:

Эндерс, «Прикладные эконометрические временные ряды», 2-е издание, гл. 5.

Эндерс обсуждает вмешательства, импульсные функции, функции постепенного изменения, передаточные функции и т. Д. Эта статья также может быть полезна:

Box, GEP и GC Tiao. 1975. «Анализ вмешательства с приложениями к экономическим и экологическим проблемам». Журнал Американской статистической ассоциации 70: 70-79.

Джейсон Морган
источник
1

Не могли бы вы просто использовать модель точки изменения, а затем попытаться определить точку изменения, используя алгоритм MCMC, такой как выборка Гиббса?

Это должно быть относительно простым для реализации при условии, что у вас есть некоторые предыдущие дистрибутивы для ваших данных или полное условное распределение (для Гиббса).

Вы можете найти краткий обзор здесь

Берк У.
источник
1

Если вы рассматривали все временные точки в качестве возможных точек изменения (также называемых точками разрыва, или структурными изменениями), тогда пакет Strucchange является очень хорошим вариантом.

Кажется, что в вашем конкретном сценарии есть только один момент времени кандидата. В этом случае на ум приходит несколько быстрых вариантов:

  1. T-тест: t-тест на часы концентрации в день в периоды «до выхода» против «после выхода». Если вас беспокоит повседневная корреляция, вы можете отказаться от некоторых наблюдений, чтобы у вас было достаточно длинных интервалов, чтобы считать, что дни больше не коррелируют. При таком подходе вы будете торговать силой с простотой.
  2. AR: Установите модель AR с одной куклой: «после выхода». Если предиктор значим, значит, у вас есть изменение. Использование AR, захватит (возможную) зависимость между днями.
JohnRos
источник
Джон: Идея в том, что вы не знаете «одну временную точку кандидата», но хотите найти ее аналитически, возможно, буквально для сотен временных рядов. «Глазной тест» для определения этого единственного кандидата часто бывает недостаточным, поскольку однократные импульсы и основная структура ARIMA окклюзируют. Методы обнаружения вмешательства а-ля R. Rsay или George Tiao, ищущие неизвестный сдвиг LEVEL / STEP, фактически создают переменную, которую вы описываете (ту, которая содержит нули, за которыми следуют 1). Следует позаботиться о том, чтобы вначале определить вмешательства, а затем - компонент ARIMA и наоборот.
IrishStat
@IrishStat: в ссылочном блоге точка изменения известна. В случаях, когда это не так, на пакет strucchange R была указана ссылка.
JohnRos
: Джон Из документации Struchange «Наконец, можно оценить точки останова в регрессионных моделях со структурными изменениями» с использованием метода CHOW, с которым я хорошо знаком. Тестирование или поиск точек останова в коэффициентах регрессии требует спецификации модели регрессии, и если я Правильно, это не имеет ничего общего с ответом на вопрос «проверка, чтобы определить, увеличился или уменьшился временной ряд на основе данных?». Я думаю, что вашей рекомендации недостаточно, чтобы ответить на вопрос ОП. Ваша рекомендация отвечает на вопрос «Я не знаю». верить спросили.
IrishStat
: john Это правда, но тривиально, так как модели только с перехватом встречаются только в учебниках или в снах.
IrishStat
@IrishStat: правда, структура структурных изменений носит более общий характер. Тем не менее, обнаружение увеличения или уменьшения «данных» может быть сделано путем подбора модели только для перехвата.
JohnRos
1

Несколько лет назад я услышал выступление аспиранта Стейси Хэнкок на собрании местного отделения ASA, посвященном «оценке структурных разрывов» временных рядов. Разговор был действительно интересным, и я поговорил с ней позже, и она работала с Ричардом Дэвисом (из Броквелла-Дэвиса ), затем в Университете штата Колорадо, а теперь в Колумбии. Разговор был продолжением Davis et al. работа в документе JASA 2006 года под названием « Оценка структурного разрыва для нестационарных моделей временных рядов» , который находится в свободном доступе здесь .

У Дэвиса есть программная реализация метода, который он называет Auto-PARM, который он превратил в исполняемый файл Windows. Если вы свяжетесь с ним, вы сможете получить копию. У меня есть копия, и вот пример вывода на 1200 временных рядов наблюдений:

    ============== RESULTS ===============
  ISLAND           1
    SC=   1910.58314770669
    Breaking point/AR order
           1              1
         351              1
         612              3
    ======================================
 Total time:   5.812500

Таким образом, серия является AR (1) в начале, при наблюдении 351 процесс AR (1) изменяется на другой процесс AR (1) (вы можете получить параметры), а затем при наблюдении 612 процесс меняется на AR (3) ,

Одна интересная настройка, на которой я пробовал Auto-PARM, заключалась в просмотре еженедельных данных о снятии средств через банкомат, которые были частью соревнования NN5 . Я вспоминаю алгоритм поиска структурных разрывов в конце ноября определенного года, например, начало сезона праздничных покупок в США.

Итак, как использовать этот алгоритм с помощью существующих реализаций? Ну, опять же, вы можете обратиться к Дэвису и посмотреть, сможете ли вы получить исполняемый файл Windows. Когда я работал в Rogue Wave Software, я работал с Дэвисом, чтобы получить Auto-PARM в цифровых библиотеках IMSL. Первым языком, на который он был портирован, был Fortran , где он называется Auto_PARM, и я подозреваю, что Rogue Wave скоро выпустит порт C, а за ним последуют порты Python, C # и Java.

Джош Хеманн
источник
: Josh he OP, по моему мнению, не имел в виду проверку гипотезы постоянства параметров модели, в вашем случае, когда AR (3) имеет постоянные параметры во времени. Он считает, что интересен обнаружение ранее неизвестного сдвига среднего значения остатков.
IrishStat
Моды: OP, по моему мнению, не имел в виду проверку гипотезы постоянства параметров модели, в вашем случае, имеет ли ARan (3) постоянные параметры во времени. Он, я полагаю, заинтересован в обнаружении ранее неизвестного сдвига среднего значения Остаточные значения. Это совершенно другая проблема, чем та, на которую вы ссылались. Теперь я полностью согласен с тем, что при отсутствии обнаружения вмешательства имеется в виду среднее значение невязок. Один может найти момент времени, когда либо параметры некоторой модели и / или вариация ошибки могли значительно измениться, НО это не то, что ОП хочет выяснить.
IrishStat
@IrishStat: Вы знакомы с Auto-PARM? Алгоритм использует невязки при оценке разрывов (как по количеству разрывов, так и по порядку AR (p) сегментов). У ОП, похоже, нет конкретного метода, о котором он спрашивает. Скорее, он, похоже, задает очень общий вопрос: «Если я измеряю процесс во времени и что-то изменяю в процессе, есть ли способ обнаружить эту точку изменения только по данным?». Он не спрашивает о сдвиге уровня в сравнении с инновациями или аддитивным обнаружением выбросов. Надеюсь, ОП сможет уточнить для нас ...
Джош Хеманн,
Джош: Из ОП «Какой уместный тест, чтобы определить, увеличился или уменьшился временной ряд на основании данных?». Я полагаю, что для этого необходимо определить, не сместилось ли среднее значение остатков, а не параметры какой-либо модели ARIMA. По моему мнению, вы рекомендуете неправильную процедуру программного обеспечения / решения, но это только мое мнение.
IrishStat
1

Джош сказал:

Джош: Из ОП «Какой уместный тест, чтобы определить, увеличился или уменьшился временной ряд на основании данных?». Я полагаю, что для этого необходимо определить, не сместилось ли среднее значение остатков, а не параметры какой-либо модели ARIMA. По моему мнению, вы рекомендуете неправильную процедуру программного обеспечения / решения, но это только мое мнение. - IrishStat 28 октября '11 в 19:08

Предположим, что мы начинаем с модели AR (1):

YTзнак равноγ+φ*YT-1+ЕT

ЕTσ2

γ1-пчася

γφ

Если предполагается использование структурных моделей, Auto-PARM - это процедура, которую необходимо использовать.

user43737
источник
1
Похоже, вы на самом деле цитируете IrishStat ... не могли бы вы связать первоисточник цитаты, пожалуйста?
Ник Стаунер