Какова важность различия между линейными и нелинейными моделями? Вопрос Нелинейная и обобщенная линейная модель: как вы относитесь к логистической, пуассоновской и т. Д. Регрессии? и его ответ был чрезвычайно полезным разъяснением линейности / нелинейности обобщенных линейных моделей. Кажется критически важным отличить линейные от нелинейных моделей, но мне не понятно почему? Например, рассмотрим эти модели регрессии:
Обе модели 1 и 2 являются линейными, и решения для существуют в закрытой форме, которую легко найти, используя стандартный метод оценки OLS. Это не так для моделей 3 и 4, которые являются нелинейными, потому что (некоторые из) производные относительно все еще являются функциями .E [ Y ∣ X ] β β
Одним из простых решений для оценки в модели 3 является линеаризация модели путем установки , оценки с использованием линейной модели, а затем вычисления . γ = β 2 1 γ β 1 = √
Чтобы оценить параметры в Модели 4, мы можем предположить, что следует биномиальному распределению (члену экспоненциального семейства), и, используя тот факт, что логистическая форма модели является канонической связью, линеаризируют относительные значения модели. Это был оригинальный вклад Нелдера и Уэддерберна .
Но почему эта нелинейность является проблемой в первую очередь? Почему нельзя просто использовать какой-то итерационный алгоритм для решения Модели 3 без линеаризации с использованием функции квадратного корня или Модели 4 без вызова GLM. Я подозреваю, что до широкого использования вычислительных мощностей статистики пытались все линеаризовать. Если это правда, то, возможно, «проблемы», вызванные нелинейностью, являются пережитком прошлого? Являются ли сложности, вносимые нелинейными моделями, просто вычислительными, или есть какие-то другие теоретические проблемы, которые делают нелинейные модели более сложными для подгонки к данным, чем линейные модели?
источник
Ответы:
Я вижу два основных различия:
линейность делает его простым и надежным. Например, (линейный) OLS является несмещенной оценкой при неизвестном распределении помех. В общем, GLM и нелинейных моделей нет. OLS также устойчив для различных моделей структуры ошибок (случайные эффекты, кластеризация и т. Д.), Где в нелинейных моделях обычно требуется предположить точное распределение этих членов.
Решить это легко: просто пара матричных умножений + 1 обратное. Это означает, что вы почти всегда можете решить ее, даже в тех случаях, когда целевая функция почти плоская (мультиколлинеарность). Итеративные методы могут не сходиться в таких проблемных случаях (что, в некотором смысле, хорошо). Простое решение может или может не будет меньшей проблемой в наши дни. Компьютеры работают быстрее, но объем данных увеличивается. Вы когда-нибудь пытались провести логит-регрессию на наблюдениях 1G?
Кроме того, линейные модели легче интерпретировать. В линейных моделях предельные эффекты равны коэффициентам и не зависят от значений X (хотя полиномиальные члены запутывают эту простоту).
источник
Многие модели в биологии (и других областях) являются нелинейными, поэтому лучше всего подходят для нелинейной регрессии. Конечно, математика совсем другая. Но с точки зрения аналитика данных, на самом деле есть только одно важное отличие.
Нелинейная регрессия требует начальных оценочных значений для каждого параметра. Если эти первоначальные оценки не соответствуют действительности, программа нелинейной регрессии может сходиться к ложному минимуму и давать бесполезные или вводящие в заблуждение результаты.
источник
Во-первых, я собираюсь заменить слово «модель» словом «регрессия». Я думаю, что для обоих слов действительно задается вопрос, какие уравнения соответствуют модели, определяющей модель, и какова соответствующая гипотеза, относящаяся к значениям зависимой переменной и значениям, прогнозируемым уравнением / моделью. Я думаю, что термин «модель» является более стандартным. Если вы согласны с этим, читайте дальше.
источник