Я знаю о регуляризации типа LASSO, гребня и эластичной сетки в моделях линейной регрессии.
Вопрос:
- Можно ли применить этот (или аналогичный) вид штрафных оценок к моделированию ARIMA (с непустой частью MA)?
При построении моделей ARIMA кажется обычным рассмотреть предварительно выбранный максимальный порядок задержки ( , ), а затем выбрать оптимальный порядок и например минимизируя AIC или AICc. Но можно ли вместо этого использовать регуляризацию?
Мои дальнейшие вопросы :
- Можем ли мы включить все члены до ( , ), но оштрафовать размер коэффициентов (потенциально вплоть до нуля)? Будет ли это иметь смысл?
- Если это так, было ли это реализовано в R или другом программном обеспечении? Если нет, в чем проблема?
Несколько похожий пост можно найти здесь .
time-series
arima
lasso
regularization
ridge-regression
Ричард Харди
источник
источник
Ответы:
Отвечая на вопрос 1.
Chen & Chan "Выбор подмножества ARMA с помощью адаптивного лассо" (2011) * использует обходной путь, чтобы избежать требующей вычисления максимальной оценки вероятности. Ссылаясь на бумагу, они
При желании они предлагают оценку максимального правдоподобия и диагностику модели для выбранных подмножеств ARMA-моделей.
Wilms et al. «Разреженная идентификация и оценка многомерных векторных авторегрессионных скользящих средних» (2017) делают даже больше, чем я просил. Вместо одномерной модели ARIMA они используют вектор ARMA (VARMA) в больших измерениях и используют штраф для оценки и выбора порядка запаздывания. Они представляют алгоритм оценки и развивают некоторые асимптотические результаты.L1
В частности, они используют двухэтапную процедуру. Рассмотрим модель VARMA которую необходимо оценить, но порядки запаздывания p и q неизвестны.
На этапе 1 они аппроксимируют модель VARMA с помощью модели VAR высокого порядка и оценивают ее, используя иерархический оценщик VAR, который накладывает основанное на лагах иерархическое наказание за лассо группы на параметры авторегрессии.T 1,5 т--√⌋ | | Y- у^| |F2
ε^: = y- у^
(Порядок задержки устанавливается равным . Уравнения модели оцениваются совместно и норма ошибок Фробениуса| | у - у | | F 2 сведенминимуму с иерархическим групповой Lasso штрафом на коэффициентах регрессии). Они получают невязки е :=у - у , которые будут использоватьсякачестве прокси для истинных ошибок в стадии 2.
На этапе 2, они оценивают модель VARX , где Х представляет собой лаг остатков со стадии 1. То есть, они Minic модель VARMA , но использование оценками остатков вместо истинных ошибок, что позволяет применятьтот же оценщик (иерархической группы-лассо) снова так жекак в стадии 1 ( р и д
Подход Wilms et al. будет реализован в R пакет «Bigtime» .
Ссылки
* Спасибо @hejseb за ссылку.
источник