Регуляризация для моделей ARIMA

15

Я знаю о регуляризации типа LASSO, гребня и эластичной сетки в моделях линейной регрессии.

Вопрос:

  1. Можно ли применить этот (или аналогичный) вид штрафных оценок к моделированию ARIMA (с непустой частью MA)?

При построении моделей ARIMA кажется обычным рассмотреть предварительно выбранный максимальный порядок задержки ( , ), а затем выбрать оптимальный порядок и например минимизируя AIC или AICc. Но можно ли вместо этого использовать регуляризацию?pmaxqmaxppmaxqqmax

Мои дальнейшие вопросы :

  1. Можем ли мы включить все члены до ( , ), но оштрафовать размер коэффициентов (потенциально вплоть до нуля)? Будет ли это иметь смысл?pmaxQмaИкс
  2. Если это так, было ли это реализовано в R или другом программном обеспечении? Если нет, в чем проблема?

Несколько похожий пост можно найти здесь .

Ричард Харди
источник
1
+1 за очень хороший вопрос. Поскольку P, Q являются дискретными значениями, может быть более эффективно выполнить поиск в сетке, чтобы найти оптимальный порядок P, Q?
синоптик
2
Я рад, что тебе понравилось! Да, поиск по сетке - это один из вариантов в структуре, который я называю «обычным». Там можно искать по сетке возможных комбинаций от до . Тем не менее, это все еще является частью "обычной структуры". В качестве альтернативы, я заинтересован в том, чтобы сохранить все лаги, но оштрафовать размер коэффициентов. ( 0 , 0 ) ( p m a x , q m a x )(п,Q)(0,0)(пмaИкс,QмaИкс)
Ричард Харди
1
columbia.edu/~sn2294/papers/forecast.pdf Предположительно, LASSO работает лучше, так как вы можете пропустить некоторые лаги вместо того, чтобы выставлять максимум. То же самое может быть сделано AIC, но тогда это становится вычислительно дорогим.
Кагдас Озгенц
1
@CagdasOzgenc, я пролистал статью, но, похоже, она не имеет отношения к регуляризации, применяемой к моделям ARIMA (хотя она упоминает модели ARMA в контексте информационных критериев). Не могли бы вы указать, какая часть статьи относится к моим вопросам?
Ричард Харди
1
5.3 таблица содержит модели ARMAX. Результаты относятся к моделям ARMA.
Кагдас Озгенц

Ответы:

9

Отвечая на вопрос 1.

Chen & Chan "Выбор подмножества ARMA с помощью адаптивного лассо" (2011) * использует обходной путь, чтобы избежать требующей вычисления максимальной оценки вероятности. Ссылаясь на бумагу, они

Предложите найти оптимальную модель ARMA для подмножества путем подгонки адаптивной регрессии Лассо временных рядов к своим собственным лагам и остаткам, полученным при подгонке длинной авторегрессии к y t s. <...> [Под] условиями умеренной регулярности, предлагаемый метод достигает свойств оракула, а именно, он идентифицирует правильную модель ARMA подмножества с вероятностью, стремящейся к единице, когда размер выборки увеличивается до бесконечности, и <...> Оценки ненулевых коэффициентов асимптотически нормальны, а предельное распределение такое же, как и при нулевых коэффициентах, которые известны априори.YTYT

При желании они предлагают оценку максимального правдоподобия и диагностику модели для выбранных подмножеств ARMA-моделей.


Wilms et al. «Разреженная идентификация и оценка многомерных векторных авторегрессионных скользящих средних» (2017) делают даже больше, чем я просил. Вместо одномерной модели ARIMA они используют вектор ARMA (VARMA) в больших измерениях и используют штраф для оценки и выбора порядка запаздывания. Они представляют алгоритм оценки и развивают некоторые асимптотические результаты.L1

В частности, они используют двухэтапную процедуру. Рассмотрим модель VARMA которую необходимо оценить, но порядки запаздывания p и q неизвестны.

YTзнак равноΣLзнак равно1пΦLYT-L+Σмзнак равно1QΘмεT-м+εT
пQ
  • На этапе 1 они аппроксимируют модель VARMA с помощью модели VAR высокого порядка и оценивают ее, используя иерархический оценщик VAR, который накладывает основанное на лагах иерархическое наказание за лассо группы на параметры авторегрессии.
    (Порядок задержки устанавливается равным . Уравнения модели оцениваются совместно и норма ошибок Фробениуса| | у - у | | F 2 сведенминимуму с иерархическим групповой Lasso штрафом на коэффициентах регрессии). Они получают невязки е :=у - у , которые будут использоватьсякачестве прокси для истинных ошибок в стадии 2.1,5T||Y-Y^||2F
    ε^знак равноY-Y^

  • На этапе 2, они оценивают модель VARX , где Х представляет собой лаг остатков со стадии 1. То есть, они Minic модель VARMA , но использование оценками остатков вместо истинных ошибок, что позволяет применятьтот же оценщик (иерархической группы-лассо) снова так жекак в стадии 1 ( р и д

    YTзнак равноΣLзнак равно1п^ΦLYT-L+Σмзнак равно1Q^Θмε^T-м+UT,

    п^Q^установлены на .)1,5T

Подход Wilms et al. будет реализован в R пакет «Bigtime» .


Ссылки


* Спасибо @hejseb за ссылку.

Ричард Харди
источник
2
Этот рабочий документ очень свежий, опубликованный на arXiv только вчера.
Ричард Харди
Есть ли реализация в Python или R?
Дэвид Масип
@DavidMasip, см. Обновленный пост для реализации R.
Ричард Харди