Если полиномиальная регрессия моделирует нелинейные отношения, как ее можно считать частным случаем множественной линейной регрессии?
Википедия отмечает, что «хотя полиномиальная регрессия соответствует нелинейной модели данных, в качестве задачи статистической оценки она является линейной, в том смысле, что функция регрессии является линейной по неизвестным параметрам, которые оцениваются из данных. "
Как полиномиальная регрессия линейна по неизвестным параметрам, если параметры являются коэффициентами для членов с порядком 2?
Ответы:
Когда вы подходите регрессионной модели , такие , как у я = β 0 + β 1 х я + β 2 х 2 я модель и МНК - оценка не «знает» , что х 2 я просто квадрат x i , он просто «думает», что это другая переменная. Конечно, существует некоторая коллинеарность, которая включается в подбор (например, стандартные ошибки больше, чем они могли бы быть в противном случае), но множество пар переменных могут быть несколько коллинеарными, если одна из них не является функцией другой.Y^я= β^0+ β^1Икся+ β^2Икс2я Икс2я Икся
Мы не признаем, что на самом деле в модели есть две отдельные переменные, потому что мы знаем, что в конечном счете та же самая переменная, что и x i, которую мы преобразовали и включили для получения криволинейных отношений между x i и y i . Именно знание истинной природы x 2 i в сочетании с нашей верой в то, что между x i и y i существует криволинейная связь, затрудняет нам понимание того, как она все еще линейна с точки зрения модели. Кроме того, мы визуализируем хИкс2я Икся Икся Yя Икс2я Икся Yя и x 2 i вместе, глядя на предельную проекцию 3D-функции на 2D-плоскость x , y . Икся Икс2я х , у
Если у вас есть только и x 2 i , вы можете попытаться визуализировать их в полном трехмерном пространстве (хотя по-прежнему довольно сложно реально понять, что происходит). Если вы посмотрите на подогнанную функцию в полном трехмерном пространстве, вы увидите, что подогнанная функция - это двумерная плоскость и, более того, плоская плоскость. Как я уже сказал, это плохо видно, потому что данные x i , x 2 i существуют только вдоль кривой линии, проходящей через это трехмерное пространство (этот факт является визуальным проявлением их коллинеарности). Мы можем попытаться сделать это здесь. Представьте, что это подходящая модель:Икся Икс2я Икся, х2я
Может быть легче увидеть на этих изображениях, которые являются скриншотами повернутой трехмерной фигуры, сделанной с теми же данными, используя
rgl
пакет.источник
источник
источник