Различие между линейной и нелинейной моделью

13

Я прочитал некоторые объяснения о свойствах линейных и нелинейных моделей, но все же иногда я не уверен, является ли имеющаяся модель линейной или нелинейной. Например, является ли следующая модель линейной или нелинейной?

yt=β0+β1B(L;θ)Xt+εt

С:

B(L;θ)=k=1Kb(k;θ)Lk

LkXt=Xtk

Где представляет (убывающую) экспоненциальную полиномиальную функцию Алмона вида:b(k;θ)

b(k;θ)=exp(θ1k+θ2k2)k=1Kexp(θ1k+θ2k2)

На мой взгляд, мое основное уравнение (первое) является линейным по отношению к , потому что этот член просто умножается на вес. Но я бы сказал, что весовая функция (последнее уравнение) является нелинейной по отношению к параметрам ans .θ 1 θ 2Xtθ1θ2

Может кто-нибудь объяснить мне, является ли моя основная функция линейной или нелинейной и что это означает для процедуры оценки - должен ли я применять линейный или нелинейный метод наименьших квадратов ?. Кроме того, в чем заключается различимая особенность, с помощью которой я могу определенно определить, является ли функция нелинейной или линейной?

DataMiner
источник

Ответы:

16

При обычных определениях линейного и нелинейного в отношении моделирования критическим аспектом является не линейность по отношению к предикторам, а линейность по отношению к параметрам. Нелинейная модель является нелинейной, поскольку она не является линейной по параметрам.

Например, первое предложение здесь гласит:

В статистике нелинейная регрессия - это форма регрессионного анализа, в которой данные наблюдений моделируются функцией, которая представляет собой нелинейную комбинацию параметров модели и зависит от одной или нескольких независимых переменных.

В отличие от этого, обобщенные линейные модели обычно имеют нелинейную связь между откликом и предикторами, но преобразованный по ссылке средний отклик ( линейный предиктор , ) является линейным по параметрам.η

[По этому определению, я полагаю, что ваша модель нелинейна в s, хотя, если определены (известны), то эта нелинейность не имеет отношения к оценке. Если они устанавливаются, то модель нелинейная.]θθθ

Glen_b - Восстановить Монику
источник
9

Я согласен с Glen_b. В задачах регрессии основное внимание уделяется параметрам, а не независимой переменной или предиктору x. И тогда можно решить, хочет ли он линеаризовать проблему, используя простые преобразования, или продолжить ее как таковую.

Линейные задачи: подсчитайте количество параметров в вашей задаче и проверьте, все ли они имеют степень 1. Например, . Эта функция нелинейна по . Но для проблем регрессии нелинейность по не является проблемой. Нужно проверить, являются ли параметры линейными или линейными. В этом случае , , , .. имеют степень 1. Итак, они линейны.y=ax+bx2+cx3+dx2/3+e/x+fx4/7xxabcf

Заметьте, что в , хотя a выглядит так, как будто оно имеет степень 1, но при расширении . Вы можете ясно видеть, что это нелинейный параметр, поскольку a имеет степень больше 1. Но эту проблему можно линеаризовать, вызвав логарифмическое преобразование. Таким образом, задача нелинейной регрессии преобразуется в задачу линейной регрессии.y=exp(ax)exp(ax)=1+ax/1!+(ax)2/2!+

Точно так же является логистической функцией. Она имеет три параметра, а именно , и . Параметры и имеют мощность больше 1, и при расширении они умножаются с каждым другие приносят нелинейность. Таким образом, они не являются линейными. Но они также могут быть линеаризованы с использованием правильной замены, устанавливая сначала а затем вызывая логарифмическую функцию с обеих сторон для линеаризации.y=a/(1+bexp(cx)abcbc(a/y)1=Y

Теперь предположим, что . Это еще раз нелинейно по отношению к параметрам. Но он не может быть линеаризован. Нужно использовать нелинейную регрессию.y=a1/(1+b1exp(c1x))+a2/(1+b2exp(c2x))

В принципе, использование линейной стратегии для решения задачи нелинейной регрессии не очень хорошая идея. Итак, решайте линейные задачи (когда все параметры имеют степень 1), используя линейную регрессию, и применяйте нелинейную регрессию, если ваши параметры нелинейны.

В вашем случае замените весовую функцию обратно в основную функцию. Параметр будет единственным параметром со степенью 1. Все остальные параметры являются нелинейными ( конечном итоге умножается на и (эти два параметра являются нелинейными)), что делает его также нелинейным. Следовательно, это задача нелинейной регрессии ,β 1 θ 1 θ 2β0β1θ1θ2

Примите нелинейную методику наименьших квадратов, чтобы решить ее. Умно выбирайте начальные значения и используйте многоканальный подход, чтобы найти глобальные минимумы.

Это видео будет полезно (хотя в нем не говорится о глобальном решении): http://www.youtube.com/watch?v=3Fd4ukzkxps

Использование нелинейного решателя GRG в электронной таблице Excel (установите пакет инструментов решателя, выбрав «Опции» - «Надстройки» - «Надстройки Excel», а затем выбрав «Надстройка солвера»), и запустите мультистарт в списке параметров, задав интервалы для параметров и требуя точность ограничения и сходимость, чтобы быть маленьким, глобальное решение может быть получено.

Если вы используете Matlab, используйте панель инструментов глобальной оптимизации. У него есть опции мультистарта и глобального поиска. Определенные коды доступны здесь для глобального решения, здесь и здесь .

Если вы используете Mathematica, посмотрите здесь .

Если вы используете R, попробуйте здесь .

Bipi
источник
1
Спасибо, @Bipi, за примеры! Для вашего второго, если вы установите Y = (a / y - 1), как вы можете изолировать параметр от переменной y?
Вивек Субраманян
0

Основная функция линейная.

Не имеет значения, появляются ли нелинейные известные функции ==> <== в уравнениях.B(L;θ)

Я бы приступил к линейному наименьшему квадрату на вашем месте.

Вот как вы подтверждаете или отрицаете линейность:

https://en.wikipedia.org/wiki/Non-linear#Definition

Вам также может понравиться:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

Эйс Фрам
источник
0

Это будет легко понять, если я объясню это в контексте функций.

Линейный: функция с постоянным наклоном. Алгебраически, многочлен с наивысшим показателем, равным 1. Это функция, граф которой является прямой. Например,y=2x+3

Нелинейный: функция, которая имеет противоположные свойства линейной функции. Функция с переменным наклоном. Это многочлен с показателем степени, равным 2 или более. Это график не линия. Например,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html][1]

Ирфанулла
источник
Линейные статистические модели не совпадают с линейными функциями. Нелинейная функция с аддитивным шумом все еще может быть линейной моделью, поскольку линейность определяется параметрами модели, а не переменными предиктора.
Майкл Р. Черник