Имеет ли значение переменный порядок в линейной регрессии

Я исследую взаимодействие между двумя переменными ( и ). Между этими переменными существует значительная линейная корреляция с . Исходя из природы проблемы, я не могу ничего сказать о причинно-следственной связи ( вызывает ли или наоборот). Я хотел бы изучить отклонения от линии регрессии, чтобы обнаружить выбросы. Чтобы сделать это, я могу построить линейную регрессию как функцию или наоборот. Может ли мой выбор переменного порядка повлиять на мои результаты?$x_1$$x_2$$r>0.9$$x_1$$x_2$$x_1$$x_2$

Это, безусловно, может (на самом деле, это имеет значение даже в отношении предположений о ваших данных - вы только делаете предположения о распределении результатов с учетом ковариации). В этом свете вы можете найти термин «обратная дисперсия предсказания». В любом случае, линейная регрессия ничего не говорит о причинности! В лучшем случае, вы можете сказать что-то о причинно-следственной связи через тщательный дизайн.

Для того, чтобы случай симметричного, один может регрессировать разницу между этими двумя переменными ( ) против их среднего значения.$\Delta x$

Стандартная регрессия минимизирует вертикальное расстояние между точками и линией, поэтому переключение двух переменных теперь минимизирует горизонтальное расстояние (при том же графике рассеяния). Другой вариант (который называется несколькими именами) - минимизировать перпендикулярное расстояние, это можно сделать с помощью основных компонентов.

Вот некоторый код R, который показывает различия:

library(MASS)

tmp <- mvrnorm(100, c(0,0), rbind( c(1,.9),c(.9,1)) )

plot(tmp, asp=1)

fit1 <- lm(tmp[,1] ~ tmp[,2])  # horizontal residuals
segments( tmp[,1], tmp[,2], fitted(fit1),tmp[,2], col='blue' )
o <- order(tmp[,2])
lines( fitted(fit1)[o], tmp[o,2], col='blue' )

fit2 <- lm(tmp[,2] ~ tmp[,1])  # vertical residuals
segments( tmp[,1], tmp[,2], tmp[,1], fitted(fit2), col='green' )
o <- order(tmp[,1])
lines( tmp[o,1], fitted(fit2)[o], col='green' )

fit3 <- prcomp(tmp)
b <- -fit3$rotation[1,2]/fit3$rotation[2,2]
a <- fit3$center[2] - b*fit3$center[1]
abline(a,b, col='red')
segments(tmp[,1], tmp[,2], tmp[,1]-fit3$x[,2]*fit3$rotation[1,2], tmp[,2]-fit3$x[,2]*fit3$rotation[2,2], col='red')

legend('bottomright', legend=c('Horizontal','Vertical','Perpendicular'), lty=1, col=c('blue','green','red'))

Чтобы найти выбросы, вы можете просто построить результаты анализа основных компонентов.

Вы также можете посмотреть на:

Бланд и Альтман (1986), Статистические методы оценки согласия между двумя методами клинических измерений. Ланцет, стр. 307-310

Ваши переменные x1 и x2 коллинеарны. При наличии мультиколлинеарности ваши оценки параметров по-прежнему несмещены, но их дисперсия велика, т. Е. Ваш вывод о значимости оценок параметров неверен, и ваш прогноз будет иметь большие доверительные интервалы.

Интерпретация оценок параметров также затруднена. В рамках линейной регрессии оценка параметра на x1 - это изменение Y для изменения единицы на x1, учитывая, что каждая другая экзогенная переменная в модели остается постоянной. В вашем случае x1 и x2 сильно коррелированы, и вы не можете держать x2 постоянным, когда x1 меняется.