Понимание формы доверительного интервала для полиномиальной регрессии (MLR)

Мне трудно понять форму доверительного интервала полиномиальной регрессии.

Ниже приведен пример $\hat{Y}=a+b\cdot X+c\cdot X^2$ . На левом рисунке показана UPV (немасштабированная дисперсия прогноза), а на правом графике показан доверительный интервал и (искусственные) измеренные точки при X = 1,5, X = 2 и X = 3.

Детали основных данных:

• набор данных состоит из трех точек данных (1,5; 1), (2; 2,5) и (3; 2,5).

• каждая точка была «измерена» 10 раз, и каждое измеренное значение принадлежит $y \pm 0.5$ . MLR с полиномиальной моделью было выполнено по 30 полученным точкам.

• доверительный интервал был вычислен с формулами и у(х0)-тα/2,де(етгог)

  $$UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$$ leцу| х0≤у(х0)+Tα/2,де(етгог) $$\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$$ (обе формулы взяты из Майерса, Монтгомери, Андерсона-Кука, «Методология поверхности отклика», четвертое издание, стр. 407 и 34) $$\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$$

и σ 2 = М С Е = С С Е / ( п - р ) ~ 0,075 .$t_{\alpha /2, df(error)}=2$$\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$

Меня не особо интересуют абсолютные значения доверительного интервала, а скорее форма UPV, которая зависит только от .$x_0'(X'X)^{-1}x_0$

Рисунок 1:

• очень высокая прогнозируемая дисперсия вне расчетного пространства - это нормально, потому что мы экстраполируем

• но почему разница между X = 1,5 и X = 2 меньше, чем в измеренных точках?

• и почему дисперсия становится шире для значений выше X = 2, но затем уменьшается после X = 2.3 и снова становится меньше, чем в измеренной точке при X = 3?

Разве не было бы логично, чтобы дисперсия была маленькой в ​​измеренных точках и большой между ними?

Изменить: та же процедура, но с точками данных [(1,5; 1), (2,25; 2,5), (3; 2,5)] и [(1,5; 1), (2; 2,5), (2,5; 2,2), (3; 2.5)].

Фигура 2:

Рисунок 3:

Интересно отметить, что на фиг.1 и 2, У по точкам точно равны 1. Это означает , что доверительный интервал будет точно равняться у ± т α / 2 , д е ( е г г ö г ) ⋅ √ . С увеличением количества точек (рисунок 3) мы можем получить значения UPV для измеренных точек, которые меньше 1.$\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

$(x,y)$$(x,x^2,y)$

Мы платим за то, что нужно смотреть на трехмерные объекты, что трудно сделать на статическом экране. (Я считаю, что бесконечно вращающиеся изображения раздражают и поэтому не причинят вам вреда, даже если они могут быть полезны.) Таким образом, этот ответ может не понравиться всем. Но те, кто хочет добавить третье измерение своим воображением, будут вознаграждены. Я предлагаю вам помочь в этом начинании с помощью тщательно подобранной графики.

Давайте начнем с визуализации независимых переменных. В модели квадратичной регрессии

$(x_i)$$(x_i^2)$$(x_i,x_i^2)$$x$$x^2.$$(t,t^2):$

$(x,x^2)$

Квадратичная регрессия соответствует плоскости этих точек.

$(\beta_0,\beta_1,\beta_2),$$(x,x^2,y)$$(1)$$-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$$(-\beta_1,-\beta_2,1).$$\beta_1=-55/8$$\beta_2=15/2,$$1,$$(x,x^2)$ самолет.)

Вот плоскость наименьших квадратов, приспособленная к этим точкам:

$y=f(x,x^2),$$(t,t^2)$

$x$$y$$x^2$

$(x,\hat y)$$\hat y$$x.$

Полоса доверия для этой подгоночной кривой показывает, что может случиться с подгонкой, когда точки данных изменяются случайным образом. Не меняя точку зрения, я нанес на график пять подогнанных плоскостей (и их поднятые кривые) на пять независимых новых наборов данных (из которых показана только одна):

$x \approx 1.75$$x \approx 3.$

Давайте посмотрим на то же самое, завис над трехмерным графиком и немного посмотрев вниз и вдоль диагональной оси плоскости. Чтобы помочь вам увидеть, как меняются плоскости, я также сжал вертикальное измерение.

$(t,t^2)$$(x,x^2).$

$(x_i,x_i^2)$$\mathcal L$$(x,x^2)$$(x,x^2)$$(x,x^2)$$\mathcal L.$

$\mathcal L$$t\to(t,t^2)$$\mathcal L$$x$$1.7$$2.9$

$(x,y)$

Этот анализ концептуально применим к полиномиальной регрессии высокой степени, а также к множественной регрессии в целом. Хотя мы не можем по-настоящему «увидеть» более трех измерений, математика линейной регрессии гарантирует, что интуиция, полученная из двух- и трехмерных графиков показанного здесь типа, остается точной в более высоких измерениях.

интуитивный

В очень интуитивном и грубом смысле вы можете увидеть полиномиальную кривую в виде двух линейных кривых, сшитых вместе (одна растущая, другая убывает). Для этих линейных кривых вы можете вспомнить узкую форму в центре .

Точки слева от вершины имеют относительно небольшое влияние на прогнозы справа от вершины, и наоборот.

• Таким образом, вы можете ожидать две узкие области по обе стороны от пика (где изменения на склонах обеих сторон имеют относительно небольшой эффект).

• Область вокруг пика является относительно более неопределенной, поскольку изменение наклона кривой оказывает большее влияние в этой области. Вы можете нарисовать много кривых с большим смещением пика, который все еще проходит через точки измерения

иллюстрация

Ниже приведена иллюстрация с некоторыми другими данными, которая показывает, как легко может возникнуть эта модель (можно сказать, двойной узел):

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

формальный

<sup>Продолжение следует: Я размещу раздел позже как более формальное объяснение. Нужно уметь выразить влияние конкретной точки измерения на доверительный интервал в разных местах$x$, В этом выражении следует более четко (явно) видеть, как изменение определенной (случайной) точки измерения оказывает большее влияние на погрешность в интерполированной области, более удаленной от точек измерения

настоящее время я не могу понять хорошее изображение волнистой структуры интервалов прогнозирования, но я надеюсь, что эта грубая идея в достаточной степени учитывает комментарий Вубера о непризнании этого паттерна в квадратичных подгонках. Дело не столько в квадратичных подгонках, сколько в интерполяции в целом, в этих случаях точность менее сильна для прогнозов, когда они выражаются далеко от точек, независимо от интерполяции или экстраполяции. (Конечно, эта схема более уменьшается, когда больше точек измерения,$x$, добавлены)</sup>