В чем заключается «механическая» разница между множественной линейной регрессией с лагами и временными рядами?

14

Я выпускник факультета бизнеса и экономики, который в настоящее время учится на степень магистра в области инженерии данных. Во время изучения линейной регрессии (LR), а затем анализа временных рядов (TS) у меня возник вопрос. Зачем создавать новый метод, т. Е. Временные ряды (ARIMA), вместо использования множественной линейной регрессии и добавления к ней лаговых переменных (порядок лагов определяется с помощью ACF и PACF)? Поэтому учитель предложил мне написать небольшое эссе по этому вопросу. Я не пришел бы искать помощь с пустыми руками, поэтому я провел исследование по этой теме.

Я уже знал, что при использовании LR, если предположения Гаусса-Маркова нарушаются, регрессия OLS является неправильной, и что это происходит при использовании данных временных рядов (автокорреляция и т. Д.). (еще один вопрос по этому поводу, одно предположение GM заключается в том, что независимые переменные должны быть нормально распределены? или только зависимая переменная обусловлена ​​независимыми переменными?)

Я также знаю, что при использовании регрессии распределенного лага, которая, как мне кажется, я здесь предлагаю, и использовании OLS для оценки параметров, может возникнуть (очевидно) мультиколлинеарность между переменными, поэтому оценки будут неверными.

В аналогичном посте о TS и LR , @IrishStat сказал:

... модель регрессии является частным случаем модели передаточной функции, также известной как модель динамической регрессии или модель XARMAX. Характерным моментом является то, что идентификация модели во временных рядах, т.е. соответствующие различия, соответствующие задержки X, соответствующая структура ARIMA, надлежащая идентификация неопределенной детерминированной структуры, такой как импульсы, сдвиги уровней, тренды локального времени, сезонные импульсы и включение изменения параметров или ошибки дисперсии должны быть рассмотрены.

(Я также читал его статью в Autobox о Box Jenkins против LR.) Но это все еще не решает мой вопрос (или, по крайней мере, он не проясняет для меня различную механику RL и TS).

Очевидно, что даже с лаговыми переменными возникают проблемы OLS, и они не эффективны и не корректны, но при использовании максимальной вероятности эти проблемы сохраняются? Я читал, что ARIMA оценивается по максимальной вероятности, поэтому, если LR с лагами оценивается с ML вместо OLS, это дает «правильные» коэффициенты (давайте предположим, что мы также включаем слагаемые с задержкой ошибок, как MA порядка д).

Короче, проблема в OLS? Решена ли проблема с применением ML?

Мигель М.
источник
4
Странное сходство там с Джоном Мейнардом Кейнсом.
Ник Кокс
Привет @NickCox, да, он мой любимый экономист, я думаю, он был удивительным человеком и во многих отношениях чрезвычайно талантливым ... какая-нибудь помощь в моем вопросе? То, что я пытаюсь выяснить, - это то, почему отстающая модель не работает с оценкой OLS, и если это будет оцениваться правильно с оценкой максимальной вероятности. Я понимаю, что лучшая модель - это передаточная функция, и сейчас изучаю ее. Но теоретический вопрос все еще остается там об OLS. Если бы автокорреляция отсутствовала, потому что лаги устраняют ее (предположим также, что мультиколл. Нет), будет ли это работать? или там все еще и в основе
Мигель М.
@NickCox ... влияние / нарушение гауссовских предположений, с которыми OLS не может работать и которые не могут быть приспособлены этим методом? Как вы можете видеть, я немного растерялся, если ответить слишком долго, пожалуйста, не могли бы вы дать какую-нибудь лекцию, которая могла бы просветить, я тоже был бы признателен
Мигель М.
1
С точки зрения механики, позвольте мне предположить, что модель ARMA для предложенной пользователем (соответственно разностной) переменной X отражает нестационарность. Если этот фильтр применяется к ОБА соответствующим разностным рядам, результирующая пара рядов часто может быть изучена с помощью процедур взаимной корреляции. получение предполагаемой структуры лагов (понимание). Затем эта структура отставания может быть применена к соответствующим разным исходным сериям, чтобы получить предположение о неопределенном / фоновом ряду (процесс предварительной ошибки.). Этот процесс ошибки может быть затем изучен для получения соответствующей ARMA.
IrishStat
@IrishStat, пожалуйста, позвольте мне перефразировать то, что вы только что сказали. Пусть у нас будет зависимая переменная Yt и независимая переменная Xt, мы будем различать Yt и Xt до тех пор, пока у нас не будет стационарности в обоих, а затем мы сможем применить функцию взаимной корреляции, чтобы выяснить структуру запаздывания. После этого мы возвращаемся к Yt к Xt и изучаем ошибку. Если мы находим структуру ARMA в терминах ошибок, мы применяем ее в модели, пока не получим белый шум, верно? Но, мой вопрос все еще, эта последняя модель установлена ​​через OLS? Если нет, то почему, и какой метод мы используем?
Мигель М.

Ответы:

9

Зачем создавать новый метод, т. Е. Временные ряды (ARIMA), вместо использования множественной линейной регрессии и добавления к ней лаговых переменных (порядок лагов определяется с помощью ACF и PACF)?

β^OLS=(XX)1XyXи, следовательно, оценка OLS невозможна.

одно предположение GM заключается в том, что независимые переменные должны быть нормально распределены? или просто зависимая переменная, условно независимая?

Предположение о нормальности иногда вызывается для ошибок модели, а не для независимых переменных. Однако нормальность не требуется ни для согласованности и эффективности оценки OLS, ни для выполнения теоремы Гаусса-Маркова. В статье Википедии о теореме Гаусса-Маркова прямо говорится, что «ошибки не должны быть нормальными».

мультиколлинеарность между переменными может (очевидно) возникнуть, поэтому оценки будут неверными.

Высокая степень мультиколлинеарности означает завышенную дисперсию оценки МНК. Тем не менее, оценщик OLS по-прежнему СИНИЙ, пока мультиколлинеарность не идеальна. Таким образом, ваше утверждение не выглядит правильным.

Очевидно, что даже с лаговыми переменными возникают проблемы OLS, и они не эффективны и не корректны, но при использовании максимальной вероятности эти проблемы сохраняются?

Модель AR может быть оценена с использованием как OLS, так и ML; оба эти метода дают согласованные оценки. Модели MA и ARMA не могут быть оценены с помощью OLS, поэтому ML является основным выбором; опять же, это соответствует. Другим интересным свойством является эффективность, и здесь я не совсем уверен (но ясно, что информация должна быть доступна где-то, так как вопрос довольно стандартный). Я бы попробовал прокомментировать «правильность», но я не уверен, что вы подразумеваете под этим.

Ричард Харди
источник
Привет, мистер Харди, большое спасибо за ответ. Относительно наблюдаемых и ненаблюдаемых значений, просто для подведения итогов. В ARIMA и временных рядах (точнее, XARIMAX) мы используем «динамический» подход, поскольку мы используем ошибки прогнозирования, а в линейной регрессии мы их не используем - но мы могли бы их использовать, тем не менее. Я не понимаю, тогда вопрос здесь. Или, как говорит @IrishStat, единственное отличие - это путь к стратегии идентификации и пересмотра модели?
Мигель М.
А как насчет оценки, является ли OLS (опять же) правильным, если включить в модель запаздывающие ошибки? Что касается мультиколлинеарности, я имел в виду, что оценочные коэффициенты могут быть неверными, поскольку их оценка имеет большую дисперсию. Под правильным методом я подразумевал, если использование OLS дает объективные и эффективные оценки по сравнению с ML при использовании предложенных моделей с запаздыванием.
Мигель М.
@MiguelM, я сейчас путешествую, постараюсь вернуться позже.
Ричард Харди
1
Что касается «в линейной регрессии, мы не используем их - но мы могли бы использовать их, тем не менее»: мы не наблюдаем эти переменные, и, следовательно, они не могут быть использованы в рамках линейной регрессии из-за механики там (как я отметил в ответе, оценка невозможна); тем не менее, они могут быть использованы в рамках ARIMA. Относительно «правильно ли OLS (снова) при включении в модель отстающих ошибок?», Да, это должно быть правдой. Что касается «правильности», если модель задана правильно и возможны как OLS, так и ML, оба должны работать нормально. При неправильной спецификации вещи имеют тенденцию идти не так, как надо.
Ричард Харди
1
y=β0+β1x+εxy=β0+β1x+εx
5

Это отличный вопрос. Реальная разница между моделями ARIMA и множественной линейной регрессией заключается в вашей структуре ошибок. Вы можете манипулировать независимыми переменными в модели множественной линейной регрессии, чтобы они соответствовали вашим данным временных рядов, о чем говорит @IrishStat. Однако после этого вам нужно включить ошибки ARIMA в вашу модель множественной регрессии, чтобы получить правильный коэффициент и результаты теста. Отличная бесплатная книга на эту тему: https://www.otexts.org/fpp/9/1 . Я связал раздел, в котором обсуждается сочетание ARIMA и моделей множественной регрессии.

LindsayL
источник
1

Хороший вопрос, я на самом деле построил оба в моей повседневной работе в качестве ученого данных. Модели временных рядов просты в построении (пакет прогноза в R позволяет создавать один менее чем за 5 секунд), такой же или более точный, чем регрессионные модели и т. Д. Как правило, всегда следует строить временные ряды, а затем регрессию. Есть также философские последствия временных рядов, если вы можете предсказать, ничего не зная, то что это значит?

Мой взгляд на Дарлингтона. 1) «Регрессия гораздо более гибкая и мощная, производя лучшие модели. Эта точка зрения развивается во многих местах на протяжении всей работы».

Нет, совсем наоборот. Модели регрессии делают гораздо больше предположений, чем модели временных рядов. Чем меньше предположений, тем больше вероятность противостоять землетрясению (смене режима). Кроме того, модели временных рядов быстрее реагируют на внезапные изменения.

2) «Регрессия намного легче освоить, чем ARIMA, по крайней мере, для тех, кто уже знаком с использованием регрессии в других областях». Это круговые рассуждения.

3) «Регрессия использует« закрытый »вычислительный алгоритм, который, по существу, гарантированно дает результаты, если это вообще возможно, в то время как ARIMA и многие другие методы используют итеративные алгоритмы, которые часто не могут достичь решения. Я часто видел, как метод ARIMA« зависал » «На данных, которые дали метод регрессии без проблем».

Регрессия дает вам ответ, но правильный ли это ответ? Если я строю модели линейной регрессии и машинного обучения, и все они приходят к одному и тому же выводу, что это значит?

Таким образом, в целом, да, регрессия и временные ряды могут как ответить на один и тот же вопрос, так и технически, временные ряды - это технически регрессия (хотя и авторегрессия). Модели временных рядов менее сложны и, следовательно, более устойчивы, чем модели регрессии. Если вы думаете о специализации, то модели TS специализируются на прогнозировании, тогда как регрессия специализируется на понимании. Это сводится к тому, хотите ли вы объяснить или предсказать.

Скрытая Марковская Модель
источник
1
«Модели временных рядов являются менее сложными и, следовательно, более устойчивыми, чем регрессионные модели» .... То, что вы хотели сказать, было «Модели ARIMA менее сложны и, следовательно, более устойчивы, чем регрессионные модели». Включение ARIMA и регрессии называется моделями передаточных функций ..., что является мудрым выбором, объединяя как понимание (регрессия), так и неизвестные / неуказанные фоновые факторы (ARIMA).
IrishStat
2
@IrishStat Привет, мистер Рейли, я читал ваши ответы на несколько постов здесь, в stackexchange, и я также прочитал многие статьи в Autobox, а также ссылки на курс временных рядов PSU, но я до сих пор этого не делаю. понять, почему (или если) линейная регрессия (с использованием OLS) с использованием лаговых переменных и терминов с лаговой ошибкой в ​​случае необходимости не сработает
Мигель М.
@IrishStat это метод OLS, который не работает?
Мигель М.
1
IrishStat, чтобы расширить вашу точку зрения, целью будет причинно-следственная связь Грейнджер. Например, даже если коэффициент является статистически значимым, он не обязательно может быть значительным для повышения точности прогноза. В своем исследовании я обнаружил, что регрессионные модели (линейные, лассо и т. Д.), Как правило, говорят о том, что вещи важнее, чем они есть на самом деле, в то время как случайный лес имеет тенденцию понижать их и идентифицировать истинные рычаги. Кроме того, случайный лес имеет такую ​​же точность выборки, как и линейные модели. Единственным недостатком является то, что вы не можете сказать, каковы коэффициенты на самом деле.
Скрытая Марковская модель
2
@MiguelM. Это, безусловно, могло бы работать, потому что передаточная функция - это модель полиномиального распределенного лага, возможно, включающая эмпирически обнаруженные сдвиги уровней / временные тренды / сезонные импульсы при корректировке импульсов (одноразовые аномалии). Я думаю, что основным отличием является путь к идентификации и стратегиям пересмотра модели
IrishStat
0

Полагаем, что самое глубокое различие между передаточными функциями и множественной линейной регрессией (в обычном использовании) заключается в их целях, множественные регрессии ориентированы на поиск основных причинно-наблюдаемых детерминантов зависимой переменной, тогда как передаточные функции просто хотят прогнозировать влияние на зависимую переменная вариации конкретной экзогенной переменной ... Таким образом, множественная регрессия ориентирована на исчерпывающее объяснение и функцию передачи для прогнозирования очень специфических эффектов ...

Родольфо
источник
Я не думаю, что это достаточно точно, потому что оба метода дают коэффициенты, которые на самом деле можно интерпретировать. Кроме того, передаточные функции действительно сильно зависят от причинно-следственного анализа и на самом деле лучше различают, чем множественная линейная регрессия. Кроме того, этот пост просит о механических / методологических различиях между такими двумя методами
Мигель М.