Процесс построения модели вовлекает модельера, принимающего много решений. Одно из решений включает выбор среди различных классов моделей для изучения. Есть много классов моделей, которые можно рассмотреть; например, модели ARIMA, модели ARDL, модели с несколькими источниками ошибок в пространстве состояний, модели LSTAR, модели Min-Max и многие другие. Конечно, некоторые классы моделей шире, чем другие, и не часто можно обнаружить, что некоторые классы моделей являются подклассами других.
Учитывая природу вопроса, мы можем сосредоточиться в основном только на двух классах моделей; линейные модели и нелинейные модели .
Имея в виду вышеприведенную картину, я начну рассмотрение вопроса ОП о том, когда полезно принять нелинейную модель и существует ли логическая основа для этого - с точки зрения статистики и методологии.
Первое, что следует отметить, - это то, что линейные модели представляют собой небольшой подкласс нелинейных моделей. Другими словами, линейные модели являются частными случаями нелинейных моделей. Есть несколько исключений из этого заявления, но для нынешних целей мы не потеряем много, приняв его для упрощения.
Как правило, построитель моделей выбирает класс моделей и переходит к выбору модели из этого конкретного класса, используя некоторую методологию. Простой пример - когда человек решает смоделировать временной ряд как процесс ARIMA, а затем следует методологии Бокса-Дженкинса, чтобы выбрать модель из класса моделей ARIMA. Работа таким образом с методологиями, связанными с семействами моделей, является вопросом практической необходимости.
Следствием решения о построении нелинейной модели является то, что проблема выбора модели становится намного больше (необходимо рассмотреть больше моделей и принять больше решений) по сравнению с выбором из меньшего набора линейных моделей, поэтому существует реальная практический вопрос под рукой. Кроме того, может даже не быть полностью разработанных методологий (известных, принятых, понятых, простых в общении) для использования для выбора из некоторых семейств нелинейных моделей. Кроме того, еще одним недостатком построения нелинейных моделей является то, что линейные модели легче использовать, а их вероятностные свойства более известны ( Teräsvirta, Tjøstheim и Granger (2010) ).
Тем не менее, ФП требует статистических оснований для принятия решения, а не практических или предметных теорий, поэтому я должен продолжать.
Прежде чем даже подумать о том, как решить, с какими нелинейными моделями работать, нужно сначала решить, следует ли вместо этого работать с линейными или нелинейными моделями. Решение! Как сделать этот выбор?
Обращаясь к Грейнджер и Терасвирте (1993) , я принимаю следующий аргумент, который имеет два основных момента в ответ на следующие два вопроса.
В: Когда полезно построить нелинейную модель? Короче говоря, может быть полезно построить нелинейную модель, когда класс линейных моделей уже рассмотрен и считается недостаточным для характеристики проверяемых отношений. Можно сказать, что эта процедура нелинейного моделирования (процесс принятия решений) идет от простого к общему, в том смысле, что она идет от линейного к нелинейному.
В: Существуют ли статистические основания, которые можно использовать для обоснования построения нелинейной модели? Если кто-то решит построить нелинейную модель на основе результатов испытаний на линейность, я бы сказал, что да, есть. Если тестирование на линейность предполагает отсутствие значительной нелинейности во взаимосвязи, то построение нелинейной модели не рекомендуется; тестирование должно предшествовать решению о сборке.
Я конкретизирую эти моменты путем прямой ссылки на Грейнджер и Терасвирта (1993):
Прежде чем строить нелинейную модель, желательно выяснить, действительно ли линейная модель адекватно характеризует анализируемые [экономические] отношения. Если бы это было так, было бы больше статистической теории для построения разумной модели, чем если бы подходила нелинейная модель. Кроме того, получение оптимальных прогнозов на более чем один период вперед было бы намного проще, если бы модель была линейной. Может случиться, по крайней мере, когда временные ряды короткие, что исследователь успешно оценит нелинейную модель, хотя истинная связь между переменными является линейной. Следовательно, опасность ненужного усложнения построения модели реальна, но ее можно уменьшить путем тестирования на линейность.
В более поздней книге Teräsvirta, Tjøstheim и Granger (2010) дан тот же совет, который я сейчас цитирую:
С практической точки зрения [поэтому] полезно проверить линейность, прежде чем пытаться оценить более сложную нелинейную модель. Во многих случаях тестирование даже необходимо со статистической точки зрения. Ряд популярных нелинейных моделей не определяется по линейности. Если истинная модель, сгенерировавшая данные, является линейной, а нелинейная модель заинтересована во вложении этой линейной модели, параметры нелинейной модели нельзя оценить последовательно. Таким образом, тестирование линейности должно предшествовать любому нелинейному моделированию и оценке.
Позвольте мне закончить на примере.
В контексте моделирования бизнес-циклов практический пример использования статистических оснований для обоснования построения нелинейной модели может быть следующим. Поскольку линейные одномерные или векторные авторегрессионные модели не способны генерировать асимметричные циклические временные ряды, стоит рассмотреть подход нелинейного моделирования, который может обрабатывать асимметрии в данных. Расширенная версия этого примера об обратимости данных может быть найдена в Tong (1993) .
Извините, если я слишком много сконцентрировался на моделях временных рядов. Я уверен, однако, что некоторые идеи применимы и в других условиях.
Основная проблема заключается в том, чтобы решить, для каких типов проблем следует ожидать линейности, в противном случае отношения могут быть нелинейными, если позволяет размер выборки. Большинство процессов в биологии, социальных науках и других областях являются нелинейными. Единственные ситуации, когда я ожидаю линейных отношений:
Последний пример включает в себя случай, когда имеется зависимая переменная которая также измеряется в базовой линии (нулевой момент времени).Y
Я редко вижу взаимосвязь, которая везде линейна в большом наборе данных.
Решение о включении нелинейностей в регрессионные модели исходит не столько из глобального статистического принципа, сколько из того, как устроен мир. Единственным исключением является случай, когда была выбрана неоптимальная статистическая структура, и необходимо ввести нелинейности или условия взаимодействия, чтобы компенсировать неправильный выбор структуры. Иногда могут понадобиться термины взаимодействия, чтобы компенсировать недо-моделирование (например, предполагая линейность) основных эффектов. Может потребоваться больше основных эффектов, чтобы компенсировать потерю информации в результате недомоделирования других основных эффектов.
Исследователи иногда мучаются тем, стоит ли включать определенную переменную в то время, когда они не соответствуют множеству других переменных, заставляя их действовать линейно. По моему опыту предположение о линейности является одним из наиболее нарушенных из всех предположений, которые имеют большое значение.
источник
При построении модели я всегда пробую квадраты переменных вместе с линейными компонентами. Например, при построении простой регрессионной модели я добавлю квадратное выражение Если является значительным, это может быть случай для нелинейной модели. Интуиция - это, конечно, расширение Тейлора. Если у вас есть линейная функция, только первая производная должна быть ненулевой. Для нелинейных функций производные высшего порядка будут отличны от нуля.y i = α + β x i + γ x 2 i + ε i γ
Я также часто пробую кандидат в асимметричную спецификацию: Если значительна, то это заставляет меня задуматься изучение асимметричных спецификаций.
Иногда в моих данных есть какие-то особые значения или полосы; или мои гистограммы объясняющих переменных имеют перегибы и точки перегиба. Итак, я пробую линейные сплайны вокруг этих особых точек или областей. Простейшие линейные сплайны были бы: Это привело бы к различным наклонам для до и после точки . Вы можете иметь несколько уклонов для одной и той же переменной в разных регионах. Если мой линейный сплайн значительный, то я либо играю с точками узлов и использую его, либо думаю о нелинейных моделях.
Это не системный подход, а лишь одна из вещей, которые я всегда делаю.
источник