Восстановление необработанных коэффициентов и дисперсий из ортогональной полиномиальной регрессии

Кажется, что если у меня есть регрессионная модель, такая как я могу либо подогнать необработанный полином и получить ненадежные результаты, либо подогнать ортогональный полином и получить коэффициенты которые не имеют прямой физической интерпретации (например, я не могу использовать их, чтобы найти места экстремумов в исходном масштабе). Похоже, я должен быть в состоянии иметь лучшее из обоих миров и быть в состоянии преобразовать подогнанные ортогональные коэффициенты и их дисперсии обратно в необработанный масштаб. Я прошел аспирантуру по прикладной линейной регрессии (с использованием Kutner, 5ed) и просмотрел главу о полиномиальной регрессии в Draper (3ed, на которую ссылается Kutner), но не нашел обсуждения того, как это сделать. Текст справки для $y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3$ poly()Функция в R не имеет. Я также не нашел ничего в моем поиске в сети, в том числе и здесь. Реконструирует необработанные коэффициенты (и получает их дисперсии) из коэффициентов, подогнанных к ортогональному многочлену ...

невозможно сделать, и я трачу свое время.
Возможно, но не известно, как в общем случае.
возможно, но не обсуждается, потому что "кто бы хотел?"
возможно, но не обсуждается, потому что "это очевидно".

Если ответ 3 или 4, я был бы очень признателен, если бы у кого-то хватило терпения объяснить, как это сделать, или указать на источник, который это делает. Если это 1 или 2, мне все равно было бы интересно узнать, что является препятствием. Большое спасибо за чтение, и я заранее извиняюсь, если пропускаю что-то очевидное.

regression linear-model regression-coefficients polynomial f1r3br4nd
источник

Я не понимаю твои мысли. х, х и х не являются ортогональными. Следовательно, они коррелированы, и параметры регрессии могут быть нестабильными, но это не тот случай, когда они ненадежны. Преобразование в ортогональные полиномы может быть более надежным. Но что делает коэффициент исходных степеней x более понятным, чем коэффициенты ортогональных многочленов? Если x является единственной переменной, как в модели y = a + bx, то ∆y = yi-yi-1 = b∆x и b интерпретируется как изменение y на единицу, изменение x. Но при наличии полномочий такая интерпретация теряется.

^{2}

$^2$

^{3}

$^3$

Майкл Р. Черник

Для простоты я использовал модель только с x в качестве переменной, но в действительности я сравниваю кривые между группами лечения. Таким образом, в зависимости от того, какие термины являются значительными и их величина, я могу интерпретировать их - например, общее смещение вверх / вниз или больший / меньший начальный наклон. Кроме того, как говорит мой вопрос, естественным сравнением между кривыми является расположение максимумов / минимумов, которое легче интерпретировать, если оно находится в исходном масштабе. Итак, ваш голос за выбор 3, я так понимаю?

f1r3br4nd

Нет, я еще не выяснил, возможно ли это пока. Я просто понял, почему ты хочешь это сделать.

Майкл Р. Черник

Хорошо, обратите внимание, что модель, соответствующая ортогональным полиномам, будет иметь точно такое же соответствие (т. Е.

же значения

, те же значения и т. Д.), Что и модель, соответствующая необработанным полиномам. Итак, если вы хотите связать это обратно с исходными данными, вы можете посмотреть на коэффициенты для необработанных терминов, но использовать ортогональные полиномы, чтобы сделать вывод для отдельных терминов таким образом, чтобы «учитывать» зависимость между ними ,

R^{2}

$R^2$

Макро

Как оказалось, кубические сплайны и B-сплайны находятся в классе сами по себе и являются лучшими из двух миров.

Карл

Да, это возможно.

Пусть - непостоянные части ортогональных многочленов, вычисленных по . (Каждый из них является вектором столбца.) Сравнивая их с должен получить идеальное соответствие. Вы можете выполнить это с помощью программного обеспечения, даже если оно не документирует свои процедуры для вычисления ортогональных полиномов. Регрессия дает коэффициенты для которых $z_1, z_2, z_3$ $x_i$ $x_i$ $z_j$ $\gamma_{ij}$

Z_{я J} знак равно γ_{J 0} + {Икс}_{я} γ_{J 1} + {Икс}_{я}^{2} γ_{J 2} + {Икс}_{я}^{3} γ_{J 3},

$z_{ij} = \gamma_{j0} + x_i\gamma_{j1} + x_i^2\gamma_{j2} + x_i^3\gamma_{j3}.$

В результате получается матрица которая при умножении справа преобразует проектную матрицу в $4\times 4$ $\Gamma$ $X=\pmatrix{1;&x;&x^2;&x^3}$

\begin{matrix} (1) & Z знак равно (\begin{matrix} 1; & Z_{1}; & Z_{2}; & Z_{3} \end{matrix}) знак равно Икс Γ, \end{matrix}

$Z=\pmatrix{1;&z_1;&z_2;&z_3} = X\Gamma.\tag{1}$

После примерки модели

Е (Y) знак равно Z β

$\mathbb{E}(Y) = Z\beta$

и получение оценки коэффициентов (вектор - столбец из четырех элементов), вы можете заменить , чтобы получить $\hat\beta$ $(1)$

\hat{Y} = Z \hat{β} = (X Γ) \hat{β} = X (Γ \hat{β}),

$\hat Y = Z\hat\beta = (X\Gamma)\hat\beta = X(\Gamma\hat\beta).$

Поэтому ; имеет расчетный коэффициент вектора для модели с точки зрения оригинала (сырой, ун-ортогонализованы) полномочия . $\Gamma\hat\beta$ $x$

Следующий Rкод иллюстрирует эти процедуры и тестирует их на синтетических данных.

n <- 10        # Number of observations
d <- 3         # Degree
#
# Synthesize a regressor, its powers, and orthogonal polynomials thereof.
#
x <- rnorm(n)
x.p <- outer(x, 0:d, `^`); colnames(x.p) <- c("Intercept", paste0("x.", 1:d))
z <- poly(x, d)
#
# Compute the orthogonal polynomials in terms of the powers via OLS.
#
xform <- lm(cbind(1, z) ~ x.p-1)
gamma <- coef(xform)
#
# Verify the transformation: all components should be tiny, certainly
# infinitesimal compared to 1.
#
if (!all.equal(as.vector(1 + crossprod(x.p %*% gamma - cbind(1,z)) - 1), 
    rep(0, (d+1)^2)))
  warning("Transformation is inaccurate.")
#
# Fit the model with orthogonal polynomials.
#
y <- x + rnorm(n)
fit <- lm(y ~ z)
#summary(fit)
#
# As a check, fit the model with raw powers.
#
fit.p <- lm(y ~ .-1, data.frame(x.p))
#summary(fit.p)
#
# Compare the results.
#
(rbind(Computed=as.vector(gamma %*% coef(fit)), Fit=coef(fit.p)))

if (!all.equal(as.vector(gamma %*% coef(fit)), as.vector(coef(fit.p))))
  warning("Results were not the same.")

Whuber
источник

Γ

$\Gamma$

1

$1$

10^{- 16}

$10^{-16}$

1

$1$

Два года спустя ... @whuber, возможно ли расширить это до 95% ДИ коэффициентов?

user2602640

@ user2602640 Да. Вам необходимо извлечь матрицу дисперсии-ковариации коэффициентов (используйте vcovin R), чтобы преобразовать дисперсии, вычисленные в одном базисе, в дисперсии в новом базисе, а затем вручную вычислить КИ обычным способом.

whuber

@whuber Я проследил за твоим комментарием примерно на полпути, а затем полностью потерял тебя ... есть ли шанс, что ты пожалеешь биолога с математическими проблемами и напишешь его в коде?

user2602640

Восстановление необработанных коэффициентов и дисперсий из ортогональной полиномиальной регрессии

Ответы: