В чем принципиальная разница между этими двумя регрессионными моделями?

Предположим, у меня есть двумерные ответы со значительной корреляцией. Я пытаюсь сравнить два способа моделирования этих результатов. Один из способов - смоделировать разницу между двумя результатами: Другой способ - использовать или смоделировать их:

$$(y_{i2}-y_{i1}=\beta_0+X'\beta)$$ glsgee $$(y_{ij}=\beta_0+\text{time}+X'\beta)$$

Вот пример foo:

#create foo data frame

require(mvtnorm)
require(reshape)
set.seed(123456)
sigma <- matrix(c(4,2,2,3), ncol=2)
y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma)
cor(y)
x1<-rnorm(500)
x2<-rbinom(500,1,0.4)
df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2)
df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long")
df.long<-df.long[order(df.long$id),]
    df.wide$diff_y<-df.wide$y2-df.wide$y1


#regressions
fit1<-lm(diff_y~x1+x2,data=df.wide)
fit2<-lm(y~time+x1+x2,data=df.long)
fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time))

В чем принципиальная разница между fit1и fit2? А между fit2а fit3, учитывая, что они так близки по значениям и оценкам?$p$

Во-первых, я представлю еще четвертую модель для обсуждения в своем ответе:

fit1,5 <- лм (y_2 ~ x_1 + x_2 + y_1)

Часть 0
Разница между fit1 и fit1.5 лучше всего суммировать как разницу между ограниченной разницей и оптимальной разницей.

Я собираюсь использовать более простой пример, чтобы объяснить это, чем приведенный выше. Начнем с fit1.5. Более простая версия модели была бы Конечно, когда мы получим оценку OLS, она найдет «оптимальный» выбор для . И, хотя кажется странным, что писать так, мы могли бы переписать формулу как Мы можем думать об этом как об «оптимальной» разнице между двумя переменными .

$$y_2 = b_0 + b_1·x + b_2·y_1$$ $b_2$ $$y_2 - b_2·y_1 = b_0 + b_1·x$$ $y$

Теперь, если мы решим ограничить , тогда формула / модель станет что является просто (ограниченной) разницей.$b_2=1$

$$y_2 - y_1 = b_0 + b_1·x$$

Обратите внимание, что в вышеприведенной демонстрации, если вы позволите быть дихотомической переменной, а - предварительным тестом, а - парным результатом теста, тогда моделью ограниченных разностей будут просто независимые выборки -test для усиления в оценках. в то время как оптимальной разностной моделью будет тест ANCOVA с оценками перед тестом, используемыми в качестве ковариат.$x$$y_1$$y_2$$t$

Часть 1
Модель fit2 лучше всего можно представить аналогично разностному подходу, который использовался выше. Хотя это упрощение (поскольку я намеренно термины ошибок), модель может быть представлена ​​как где для значений и для значений , Вот упрощение ... это давайте напишем Написано иначе, , Тогда как для модели fit1.5 значение было оптимальным для проведения анализа OLS, здесьt = 0 y 1 t = 1 y 2 y

$$y = b_0 + b_1 · x + b_2 · t$$ $t=0$$y_1$$t=1$$y_2$ y2-y1=b2b2b2 $$\begin{align}y_1 & = b_0 + b_1 · x \\ y_2 & = b_0 + b_1 · x + b_2\end{align}$$ $y_2 - y_1 = b_2$$b_2$$b_2$по сути, это просто средняя разница между значениями (после учета других ковариат).$y$

Часть 2
Так в чем же разница между моделями fit2 и fit3 ... на самом деле очень мало. Модель fit3 учитывает корреляцию в терминах ошибок, но это только меняет процесс оценки, и, таким образом, различия между двумя результатами модели будут минимальными (за исключением того факта, что fit3 оценивает коэффициент авторегрессии).

Часть 2.5
И я включу еще одну модель в эту дискуссию

fit4 <- lmer (y ~ time + x1 + x2 + (1 | id), data = df.long)

Эта модель смешанных эффектов делает немного другую версию авторегрессионного подхода. Если бы мы включили временной коэффициент в случайные эффекты, это было бы сравнимо с вычислением разницы между s для каждого субъекта. (Но это не сработает ... и модель не запустится.)$y$