Если вы не можете сделать это ортогонально, сделайте это необработанно (полиномиальная регрессия)

При выполнении полиномиальной регрессии для на люди иногда используют необработанные полиномы, иногда ортогональные полиномы. Но когда они используют то, что кажется совершенно произвольным.$Y$$X$

Здесь и здесь используются сырые полиномы. Но здесь и здесь ортогональные полиномы, кажется, дают правильные результаты. Что, как, почему ?!

В противоположность этому, когда вы узнаете о полиномиальной регрессии из учебника (например, ISLR ), в нем даже не упоминаются необработанные или ортогональные полиномы - дается только подходящая модель.

Итак, когда мы должны использовать что?
И почему отдельные значения p для , и т. Д. Сильно отличаются между этими двумя значениями?$X$$X^2$

Переменные и X 2 не являются линейно независимыми. Таким образом , даже если не существует квадратичный эффект, добавление X 2 модели будет изменять оценочную эффект X .$X$$X^2$$X^2$$X$

Давайте посмотрим на очень простую симуляцию.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Теперь с квадратичным членом в модели, чтобы соответствовать.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

Конечно, комплексный тест все еще важен, но я думаю, что результат, который мы ищем, не этот. Решение состоит в том, чтобы использовать ортогональные полиномы.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

Обратите внимание, что коэффициенты xв первой модели и poly(x,2)1во второй модели не равны, и даже точки пересечения различны. Это потому, что polyдоставляет ортонормированные векторы, которые также ортогональны к вектору rep(1, length(x)). Так poly(x,2)1нет, xа скорее (x -mean(x))/sqrt(sum((x-mean(x))**2))...

Важным моментом является то, что тесты Вальда в этой последней модели независимы. Вы можете использовать ортогональные полиномы, чтобы решить, до какой степени вы хотите пойти, просто взглянув на тест Вальда: здесь вы решаете оставить а не X 2 . Конечно, вы могли бы найти ту же модель, сравнив первые две подходящие модели, но так проще - если вы решите подняться на более высокие ступени, это действительно намного проще.$X$$X^2$

После того, как вы решили, какие термины сохранить, вы можете вернуться к необработанным полиномам и X 2 для интерпретации или прогнозирования.$X$$X^2$

Чтобы дать наивную оценку ситуации:

$\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

$L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

$k<\infty$

$\{\tilde{p}\}_{n=1}^\infty$$\{p_n\}_{n=1}^\infty$$y$$\{p\}_{n=1}^k$$k$$L_2([a,b])$

$p$

Следовательно, с точки зрения предсказания нет (в этом случае) никакой разницы.

$var(\hat{\tilde{\theta}}) = I \sigma²$

Естественный вопрос возникает, если существует лучшая усеченная базисная система. Однако ответ на вопрос не является ни простым, ни уникальным и зависит, например, от определения слова «лучший», то есть того, что вы пытаетесь архивировать.