Как определить разницу между линейной и нелинейной регрессионными моделями?

27

Я читал следующую ссылку на нелинейную регрессию SAS Non Linear . Из первого раздела «Нелинейная регрессия и линейная регрессия» я понял, что приведенное ниже уравнение на самом деле является линейной регрессией, верно? Если так, то почему?

y=b1x3+b2x2+b3x+c

Должен ли я также понимать, что в нелинейной регрессии мультиколлинеарность не является проблемой? Я знаю, что мультиколлинеарность может быть проблемой линейной регрессии, так что, если модель, приведенная выше, на самом деле является линейной регрессией, будет ли мультиколлинеарность?

mHelpMe
источник
Близко связаны: stats.stackexchange.com/questions/33876 .
whuber
Также связано: что означает «криволинейный»?
gung - Восстановить Монику

Ответы:

35

Есть (по крайней мере) три чувства, в которых регрессия может считаться «линейной». Чтобы отличить их, давайте начнем с чрезвычайно общей регрессионной модели

Y=f(X,θ,ε).

Для простоты обсуждения возьмем фиксированные и точно измеренные независимые переменные (а не случайные переменные). Они моделируют п наблюдение р атрибутов каждого, что приводит к п -вектору ответов Y . Традиционно X представлен в виде матрицы n × p, а Y - в качестве n- вектора столбца . (Конечный q -вектор) θ содержит параметры . ε - векторная случайная величина. Обычно имеет пXnpnYXn×pYnqθεnкомпоненты, но иногда имеет меньше. Функция является векторной (с n компонентами, совпадающими с Y ) и обычно считается непрерывной в последних двух аргументах ( θ и ε ).fnYθε

Архетипическим примером подгонки линии к данным является случай, когда X - вектор чисел ( x i ,(x,y)X - значения x; Y - параллельный вектор из n чисел ( y i ) ; θ = ( α , β ) дает точку пересечения α и наклон β ; и ε = ( ε 1 , ε 2 , , ε n )(xi,i=1,2,,n)Yn(yi)θ=(α,β)αβε=(ε1,ε2,,εn)является вектором «случайных ошибок», компоненты которого независимы (и обычно предполагают, что они имеют идентичные, но неизвестные распределения среднего нуля). В предыдущих обозначениях

yi=α+βxi+εi=f(X,θ,ε)i

с .θ=(α,β)

Функция регрессии может быть линейной по любому (или всем) из трех аргументов:

  • «Линейная регрессия, или« линейная модель », обычно означает, что является линейной в зависимости от параметров θ . Значение SAS« нелинейной регрессии » в этом смысле с дополнительным предположением, что f дифференцируема в своем втором аргументе. (параметры). Это предположение облегчает поиск решений.f θf

  • А «линейная зависимость между и Y » означает F является линейным в качестве функции X .XYfX

  • fεE(ε)=0ε

Любая возможная комбинация этих характеристик может быть полезной. Давайте рассмотрим возможности.

  1. Линейная модель линейного отношения с аддитивными ошибками. Это обычная (множественная) регрессия, уже показанная выше и в целом написанная как

    Y=Xθ+ε.

    Xθp

  2. XX

    yi=α+βxi2+ε

    θ=(α,β)(1,xi2)xi2xi

  3. Линейная модель линейного отношения с неаддитивными ошибками. Примером является мультипликативная ошибка,

    yi=(α+βxi)εi.

    εiεi1E(εi)

  4. Линейная модель нелинейных отношений с неаддитивными ошибками. Например ,

    yi=(α+βxi2)εi.
  5. Нелинейная модель линейного отношения с аддитивными ошибками. Нелинейная модель включает в себя комбинации своих параметров, которые не только являются нелинейными, они даже не могут быть линеаризованы путем повторного выражения параметров.

    • В качестве примера, рассмотрим

      yi=αβ+β2xi+εi.

      α=αββ=β2β0

      yi=α+βxi+εi,

      демонстрируя его как линейную модель (линейной зависимости с аддитивными ошибками).

    • В качестве примера рассмотрим

      yi=α+α2xi+εi.

      αααxi

  6. Нелинейная модель нелинейной связи с аддитивными ошибками.

    yi=α+α2xi2+εi.
  7. Нелинейная модель линейного отношения с неаддитивными ошибками.

    yi=(α+α2xi)εi.
  8. Нелинейная модель нелинейных отношений с неаддитивными ошибками.

    yi=(α+α2xi2)εi.

Хотя они демонстрируют восемь различных форм регрессии, они не составляют систему классификации, поскольку некоторые формы могут быть преобразованы в другие. Стандартным примером является преобразование линейной модели с неаддитивными ошибками (предполагается, что имеет положительную поддержку)

yi=(α+βxi)εi

log(yi)=μi+log(α+βxi)+(log(εi)μi)

μi=E(log(εi))YY


Коллинеарность

XY=f(X,θ,ε)Y=f(X,θ,ε)XX θ^θ^XθX

С этой точки зрения должно быть ясно, что коллинеарность является потенциальной проблемой для линейных моделей нелинейных отношений (независимо от аддитивности ошибок) и что эта обобщенная концепция коллинеарности потенциально является проблемой в любой регрессионной модели. Если у вас есть избыточные переменные, у вас будут проблемы с определением некоторых параметров.

Whuber
источник
Можете ли вы порекомендовать краткое, вводное чтение, которое поможет мне лучше понять упомянутую вами линеаризацию, которая является сердцем разницы между вашим примером и не примером в пункте 5. Спасибо.
ColorStatistics
@ Цвет Я не знаком ни с кем. При мягких предположениях о дифференцируемости возможных преобразований это решается теорией дифференциальных уравнений в частных производных (PDE).
whuber
0

Вы должны начать прямо сейчас, делая различие между реальностью и моделью, которую вы используете для ее описания.

Уравнение, которое вы только что упомянули, является полиномиальным уравнением (x ^ power), т.е. нелинейный ... но вы все равно можете смоделировать его, используя обобщенную линейную модель (используя функцию связи) или регрессию полинома, поскольку параметры являются линейными (b1, b2, b3, c)

надеюсь, что это помогло, это на самом деле немного схематично: реальность / модель

По Стулат
источник
3
Это можно оценить с помощью обычных наименьших квадратов, поскольку модель является линейной по параметрам.
аналитик
так что все это связано с параметрами? если бы мы b3 ^ 2 * x все равно были бы линейными?
mHelpMe
0

Модель является линейной, если она линейна по параметрам или может быть преобразована в линейную по параметрам (линеаризуемую). Линейные модели могут моделировать линейные или нелинейные отношения. Давайте расширим каждый из них.

Модель является линейной по параметрам, если она может быть записана как сумма терминов, где каждый член является либо константой, либо параметром, умножающим предиктор (X i ):

введите описание изображения здесь

Обратите внимание, что это определение очень узкое. Только модели, соответствующие этому определению, являются линейными. Любая другая модель, является нелинейной.

Существует два типа линейных моделей, которые путают с нелинейными моделями:

1. Линейные модели нелинейных отношений

Например, нижеприведенная модель моделирует нелинейные отношения (поскольку производная Y по X 1 является функцией X 1 ). Создав новую переменную W 1 = X 1 2 и переписав уравнение с заменой X 1 2 на W 1 , мы получили уравнение, удовлетворяющее определению линейной модели.

введите описание изображения здесь

2. Модели, которые не являются сразу линейными, но могут стать линейными после преобразования (линеаризуемый). Ниже приведены 2 примера линеаризуемых моделей:

Пример 1:

введите описание изображения здесь

Эта модель может показаться нелинейной, потому что она не соответствует определению модели, которая является линейной по параметрам, однако она может быть преобразована в линейную модель, следовательно, она является линеаризуемой / трансформируемой линейной и, таким образом, считается линейной. модель. Следующие преобразования линеаризуют его. Начните с натурального логарифма обеих сторон, чтобы получить:

введите описание изображения здесь

затем сделайте следующие замены:

введите описание изображения здесь

чтобы получить линейную модель ниже:

введите описание изображения здесь

Пример 2:

введите описание изображения здесь

Эта модель может показаться нелинейной, потому что она не соответствует определению модели, которая является линейной по параметрам, однако она может быть преобразована в линейную модель, следовательно, она является линеаризуемой / трансформируемой линейной и, таким образом, считается линейной. модель. Следующие преобразования линеаризуют его. Начните с взаимности обеих сторон, чтобы получить:

введите описание изображения здесь

затем сделайте следующие замены:

введите описание изображения здесь

чтобы получить линейную модель ниже:

введите описание изображения здесь

Любая модель, которая не является линейной (даже через линеаризацию), является нелинейной. Подумайте об этом так: если модель не соответствует определению линейной модели, то это нелинейная модель, если только она не может быть доказана как линеаризуемая, и в этот момент она получает право называться линейной моделью.

Ответ Whuber выше, а также ответ Glen_b в этой ссылке добавят больше цвета моему ответу. Нелинейная или обобщенная линейная модель: как вы относитесь к логистической, пуассоновской и т. Д. Регрессии?

ColorStatistics
источник