Что произойдет, если переменные объяснения и ответа отсортированы независимо перед регрессией?

Предположим, у нас есть набор данных с точками. Мы хотим выполнить линейную регрессию, но сначала мы сортируем значения и независимо друг от друга, формируя набор данных . Есть ли какая-либо значимая интерпретация регрессии в новом наборе данных? У этого есть имя?n X i Y i ( X i , Y j$(X_i,Y_i)$$n$$X_i$$Y_i$$(X_i,Y_j)$

Я полагаю, что это глупый вопрос, поэтому я прошу прощения, я не обучен статистике. На мой взгляд, это полностью уничтожает наши данные, и регрессия не имеет смысла. Но мой менеджер говорит, что он получает «лучшие регрессии большую часть времени», когда он делает это (здесь «лучше» означает более прогнозирующий). У меня такое чувство, что он обманывает себя.

РЕДАКТИРОВАТЬ: Спасибо за все ваши хорошие и терпеливые примеры. Я показал ему примеры @ RUser4512 и @gung, и он остался верным. Он раздражается, а я истощаюсь. Я чувствую себя удрученным. Я, вероятно, скоро начну искать другую работу.

Я не уверен, что твой босс считает «более предсказательным». Многие люди ошибочно полагают, что более низкие значения означают лучшую / более прогнозирующую модель. Это не обязательно верно (это является показательным примером). Однако независимая предварительная сортировка обеих переменных гарантирует более низкое значение . С другой стороны, мы можем оценить прогнозирующую точность модели, сравнивая ее прогнозы с новыми данными, которые были сгенерированы тем же процессом. Я делаю это ниже в простом примере (закодирован ). $p$$p$R

options(digits=3)                       # for cleaner output
set.seed(9149)                          # this makes the example exactly reproducible

B1 = .3
N  = 50                                 # 50 data
x  = rnorm(N, mean=0, sd=1)             # standard normal X
y  = 0 + B1*x + rnorm(N, mean=0, sd=1)  # cor(x, y) = .31
sx = sort(x)                            # sorted independently
sy = sort(y)
cor(x,y)    # [1] 0.309
cor(sx,sy)  # [1] 0.993

model.u = lm(y~x)
model.s = lm(sy~sx)
summary(model.u)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.021      0.139   0.151    0.881
# x              0.340      0.151   2.251    0.029  # significant
summary(model.s)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.162     0.0168    9.68 7.37e-13
# sx             1.094     0.0183   59.86 9.31e-47  # wildly significant

u.error = vector(length=N)              # these will hold the output
s.error = vector(length=N)
for(i in 1:N){
  new.x      = rnorm(1, mean=0, sd=1)   # data generated in exactly the same way
  new.y      = 0 + B1*x + rnorm(N, mean=0, sd=1)
  pred.u     = predict(model.u, newdata=data.frame(x=new.x))
  pred.s     = predict(model.s, newdata=data.frame(x=new.x))
  u.error[i] = abs(pred.u-new.y)        # these are the absolute values of
  s.error[i] = abs(pred.s-new.y)        #  the predictive errors
};  rm(i, new.x, new.y, pred.u, pred.s)
u.s = u.error-s.error                   # negative values means the original
                                        # yielded more accurate predictions
mean(u.error)  # [1] 1.1
mean(s.error)  # [1] 1.98
mean(u.s<0)    # [1] 0.68


windows()
  layout(matrix(1:4, nrow=2, byrow=TRUE))
  plot(x, y,   main="Original data")
  abline(model.u, col="blue")
  plot(sx, sy, main="Sorted data")
  abline(model.s, col="red")
  h.u = hist(u.error, breaks=10, plot=FALSE)
  h.s = hist(s.error, breaks=9,  plot=FALSE)
  plot(h.u, xlim=c(0,5), ylim=c(0,11), main="Histogram of prediction errors",
       xlab="Magnitude of prediction error", col=rgb(0,0,1,1/2))
  plot(h.s, col=rgb(1,0,0,1/4), add=TRUE)
  legend("topright", legend=c("original","sorted"), pch=15, 
         col=c(rgb(0,0,1,1/2),rgb(1,0,0,1/4)))
  dotchart(u.s, color=ifelse(u.s<0, "blue", "red"), lcolor="white",
           main="Difference between predictive errors")
  abline(v=0, col="gray")
  legend("topright", legend=c("u better", "s better"), pch=1, col=c("blue","red"))

Верхний левый график показывает исходные данные. Существует некоторая взаимосвязь между и (то есть корреляция составляет около .) Верхний правый график показывает, как выглядят данные после независимой сортировки обеих переменных. Вы можете легко увидеть, что сила корреляции существенно возросла (сейчас она составляет около ). Однако на нижних графиках мы видим, что распределение прогнозирующих ошибок намного ближе к для модели, обученной на исходных (несортированных) данных. Средняя абсолютная прогностическая ошибка для модели, в которой использовались исходные данные, составляет , тогда как средняя абсолютная прогностическая ошибка для модели, обученной на отсортированных данных, составляету .31 0,99 0 1,1 1,98 у 68 $x$$y$$.31$$.99$$0$$1.1$$1.98$- почти вдвое больше. Это означает, что прогнозы отсортированной модели данных намного дальше от правильных значений. График в правом нижнем квадранте является точечным. Он отображает различия между прогнозирующей ошибкой с исходными данными и с отсортированными данными. Это позволяет сравнивать два соответствующих прогноза для каждого нового смоделированного наблюдения. Синие точки слева - это времена, когда исходные данные были ближе к новому значению , а красные точки справа - времена, когда отсортированные данные давали лучшие прогнозы. Существовали более точные прогнозы по модели, обученной по исходным данным в случаев. $y$$68\%$

Степень, в которой сортировка вызовет эти проблемы, является функцией линейных отношений, существующих в ваших данных. Если корреляция между и были уже, сортировка не будет иметь никакого эффекта и , следовательно , не может быть вредным. С другой стороны, если корреляция былау 1,0 - $x$$y$$1.0$$-1.0$сортировка полностью изменила бы отношения, сделав модель настолько неточной, насколько это возможно. Если бы данные изначально были полностью некоррелированными, сортировка имела бы промежуточный, но все же довольно большой вредный эффект на точность прогнозирования полученной модели. Поскольку вы упоминаете, что ваши данные обычно коррелируют, я подозреваю, что это обеспечило некоторую защиту от вреда, присущего этой процедуре. Тем не менее, сортировка первой, безусловно, вредна. Чтобы изучить эти возможности, мы можем просто повторно запустить приведенный выше код с разными значениями для B1(используя один и тот же начальный элемент для воспроизводимости) и проверить вывод:

1. B1 = -5:

   cor(x,y)                            # [1] -0.978
   summary(model.u)$coefficients[2,4]  # [1]  1.6e-34  # (i.e., the p-value)
   summary(model.s)$coefficients[2,4]  # [1]  1.82e-42
   mean(u.error)                       # [1]  7.27
   mean(s.error)                       # [1] 15.4
   mean(u.s<0)                         # [1]  0.98
   

2. B1 = 0:

   cor(x,y)                            # [1] 0.0385
   summary(model.u)$coefficients[2,4]  # [1] 0.791
   summary(model.s)$coefficients[2,4]  # [1] 4.42e-36
   mean(u.error)                       # [1] 0.908
   mean(s.error)                       # [1] 2.12
   mean(u.s<0)                         # [1] 0.82
   

3. B1 = 5:

   cor(x,y)                            # [1] 0.979
   summary(model.u)$coefficients[2,4]  # [1] 7.62e-35
   summary(model.s)$coefficients[2,4]  # [1] 3e-49
   mean(u.error)                       # [1] 7.55
   mean(s.error)                       # [1] 6.33
   mean(u.s<0)                         # [1] 0.44
   

Если вы хотите убедить своего босса, вы можете показать, что происходит с симулированными, случайными, независимыми данными . С R:$x,y$

n <- 1000

y<- runif(n)
x <- runif(n)

linearModel <- lm(y ~ x)


x_sorted <- sort(x)
y_sorted <- sort(y)

linearModel_sorted <- lm(y_sorted ~ x_sorted)

par(mfrow = c(2,1))
plot(x,y, main = "Random data")
abline(linearModel,col = "red")


plot(x_sorted,y_sorted, main = "Random, sorted data")
abline(linearModel_sorted,col = "red")

Очевидно, отсортированные результаты предлагают гораздо более приятную регрессию. Однако, учитывая процесс, используемый для генерации данных (две независимые выборки), абсолютно нет шансов, что один из них может быть использован для прогнозирования другого.

Ваша интуиция верна: независимо отсортированные данные не имеют надежного значения, потому что входы и выходы случайным образом сопоставляются друг с другом, а не с тем, какой была наблюдаемая взаимосвязь.

Есть (хороший) шанс, что регрессия на отсортированных данных будет выглядеть красиво, но это бессмысленно в контексте.

Интуитивно понятный пример: предположим, набор данных для некоторой группы населения. График неизмененных данных, вероятно, будет выглядеть скорее как логарифмическая или степенная функция: более высокие темпы роста для детей, которые замедляются для более поздних подростков и «асимптотически» приближаются к максимальному росту для молодых людей и старше.$(X = age, Y = height)$

Если мы отсортируем в порядке возрастания, график, вероятно, будет почти линейным. Таким образом, функция предсказания состоит в том, что люди становятся выше за всю свою жизнь. Я бы не стал ставить деньги на этот алгоритм прогнозирования. $x, y$

На самом деле, давайте сделаем это действительно очевидным и простым. Предположим, я провожу эксперимент, в котором я отмеряю 1 литр воды в стандартизированном контейнере и смотрю на количество воды, остающееся в контейнере как функцию времени , потери воды из-за испарения:т $V_i$$t_i$

Теперь предположим, что я получаю следующие измерения в часах и литрах соответственно: Это совершенно очевидно коррелированные (и гипотетические) данные. Но если бы я сортировал измерения времени и объема, я бы получил И вывод из этого отсортированного набора данных состоит в том, что с увеличением времени объем воды увеличивается, и, более того, начиная с 1 литра воды, вы получите после 5 часов ожидания более 1 литра воды. Разве это не замечательно? Мало того, что заключение противоположно тому, что было сказано в исходных данных, это также говорит о том, что мы открыли новую физику! $(t_i, V_i)$

Это настоящее искусство, требующее реального понимания психологии, чтобы убедить некоторых людей в ошибочности своего пути. Помимо всех превосходных примеров, приведенных выше, полезной стратегией иногда является показать, что вера человека ведет к несогласованности с самим собой. Или попробуйте этот подход. Узнайте, что ваш начальник твердо убежден в том, что люди, выполняющие задание Y, не имеют отношения к тому, сколько атрибутов X они имеют. Покажите, как собственный подход вашего босса привел бы к заключению сильной ассоциации между X и Y. Используйте в своих интересах политические / расовые / религиозные убеждения.

Лицо инвалидности должно было быть достаточно. Какой упрямый босс. Ищите лучшую работу в то же время. Удачи.

Еще один пример. Представьте, что у вас есть две переменные: одна связана с употреблением шоколада, а вторая связана с общим благополучием. У вас есть выборка из двух, и ваши данные выглядят так:

Какое отношение шоколад и счастье основаны на вашем образце? А теперь измените порядок одного из столбцов - каково отношение после этой операции?

$t$$N$$t$

$i$$X$$i$$Y$

Обратите внимание, что иногда мы действительно заинтересованы в изменении порядка дел, мы делаем это с помощью методов повторной выборки . Например, мы можем намеренно перетасовать наблюдения несколько раз, чтобы узнать что-то о нулевом распределении наших данных (как бы выглядели наши данные, если бы не было парных отношений), и затем мы можем сравнить, если наши реальные данные так или иначе лучше, чем случайные перемешиваются. То, что ваш менеджер делает с точностью до наоборот - он намеренно заставляет наблюдения иметь искусственную структуру там, где не было структуры, что приводит к фиктивным корреляциям.

Простой пример, который может понять ваш менеджер:

Допустим, у вас есть Coin Y и Coin X, и вы переворачиваете каждую из них 100 раз. Затем вы хотите предсказать, может ли получение голов с помощью Монеты X (IV) повысить вероятность получения голов с помощью Монеты Y (DV).

Без сортировки отношения будут нулевыми, потому что результат Coin X не должен влиять на результат Coin Y. С сортировкой отношения будут почти идеальными.

Как имеет смысл заключить, что у вас есть хороший шанс получить головы на подбрасывании монеты, если вы только что подбросили головы другой монетой?

Эта техника действительно удивительна. Я нахожу все виды отношений, о которых я никогда не подозревал. Например, я бы не подозревал, что числа, которые появляются в лотерее Powerball, которые, как ЗАЯВЛЯЕТСЯ, являются случайными, на самом деле сильно коррелируют с ценой открытия акций Apple в тот же день! Люди, я думаю, что мы собираемся заработать много времени. :)

> powerball_last_number = scan()
1: 69 66 64 53 65 68 63 64 57 69 40 68
13: 
Read 12 items
> #Nov. 18, 14, 11, 7, 4
> #Oct. 31, 28, 24, 21, 17, 14, 10
> #These are powerball dates.  Stock opening prices 
> #are on same or preceding day.
> 
> appl_stock_open = scan()
1: 115.76  115.20 116.26  121.11  123.13 
6: 120.99  116.93  116.70  114.00  111.78
11: 111.29  110.00
13: 
Read 12 items
> hold = lm(appl_stock_open ~ powerball_last_number)
> summary(hold)


Coefficients:
                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)           112.08555    9.45628  11.853 3.28e-07 ***
powerball_last_number   0.06451    0.15083   0.428    0.678    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 4.249 on 10 degrees of freedom
Multiple R-squared:  0.01796,   Adjusted R-squared:  -0.08024 
F-statistic: 0.1829 on 1 and 10 DF,  p-value: 0.6779

Хм, похоже, не имеет существенных отношений. НО используя новую, улучшенную технику:

> 
> vastly_improved_regression = lm(sort(appl_stock_open)~sort(powerball_last_number))
> summary(vastly_improved_regression)

Coefficients:
                            Estimate Std. Error t value Pr(>|t|)    
(Intercept)                 91.34418    5.36136  17.038 1.02e-08 ***
sort(powerball_last_number)  0.39815    0.08551   4.656    9e-04 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.409 on 10 degrees of freedom
Multiple R-squared:  0.6843,    Adjusted R-squared:  0.6528 
F-statistic: 21.68 on 1 and 10 DF,  p-value: 0.0008998

ПРИМЕЧАНИЕ. Это не является серьезным анализом. Просто покажите своему менеджеру, что они могут связать ЛЮБЫЕ две переменные, если вы сортируете их обе.

Здесь много хороших встречных примеров. Позвольте мне добавить параграф о сути проблемы.

$X_i$$Y_i$$X$$Y$$i$$i$$X_1$$Y_1$$X_2$$Y_2$$X$$Y$$X_1$$Y_1$$X_1$$Y_1$

На самом деле, позвольте мне добавить параграф о том, почему это "работает", а также.

$X_a$$X_b$$X_a$$X$$Y_a$$X_z$$X$$Y_z$$Y$$X_a$$Y_a$$X_z$$Y_z$$X_1$$Y_1$

На самом деле, описанный тест (т. Е. Сортировка значений X и значений Y независимо друг от друга и регрессия одного против другого) ДЕЛАЕТ что-то тестирование, предполагая, что (X, Y) отбираются как независимые пары из двумерного распределения. Это просто не проверка того, что хочет проверить ваш менеджер. По сути, это проверка линейности QQ-графика, сравнивая предельное распределение X с предельным распределением Y. В частности, «данные» упадут близко к прямой линии, если плотность Xs (f (x)) связана с плотностью Ys (g (y)) следующим образом:

$f(x) = g((y-a)/b)$$a$$b>0$

Странно, что самый очевидный контрпример все еще отсутствует среди ответов в его простейшей форме.

$Y = -X$

$\hat Y \approx X$

Это своего рода «прямая обратная» схема, которую вы, возможно, захотите найти здесь.

Ты прав. Ваш менеджер найдет "хорошие" результаты! Но они бессмысленны. Когда вы сортируете их независимо друг от друга, вы получаете то, что они либо увеличиваются, либо уменьшаются одинаково, и это дает видимость хорошей модели. Но две переменные были лишены их фактического отношения, и модель неверна.

$x \sim x^2$$x$$x^2$$x$

Линейная регрессия обычно менее разумна (существуют исключения, см. Другие ответы); но геометрия хвостов и распределения ошибок говорит вам, насколько далеки от подобных распределений.

У меня есть простая интуиция, почему это на самом деле хорошая идея, если функция монотонна :

$x_1, x_2,\cdots, x_n$$x_i<x_{i+1}$$f:\Re\mapsto\Re$$y_i = f(x_i) + \varepsilon_i$$\varepsilon_i$

$f$

$\varepsilon_i$

PS: я нахожу удивительным, как по-видимому простой вопрос может привести к новым интересным способам переосмысления модели стандартов. Пожалуйста, спасибо, босс!

Скажем, у вас есть эти точки на окружности радиуса 5. Вы вычисляете соотношение:

import pandas as pd
s1 = [(-5, 0), (-4, -3), (-4, 3), (-3, -4), (-3, 4), (0, 5), (0, -5), (3, -4), (3, 4), (4, -3), (4, 3), (5, 0)]
df1 = pd.DataFrame(s1, columns=["x", "y"])
print(df1.corr())

   x  y
x  1  0
y  0  1

Затем вы сортируете свои значения x и y и снова делаете корреляцию:

s2 = [(-5, -5), (-4, -4), (-4, -4), (-3, -3), (-3, -3), (0, 0), (0, 0), (3, 3), (3, 3), (4, 4), (4, 4), (5, 5)]
df2 = pd.DataFrame(s2, columns=["x", "y"])
print(df2.corr())

   x  y
x  1  1
y  1  1

С помощью этой манипуляции вы меняете набор данных с корреляцией 0,0 на набор данных с корреляцией 1,0. Это проблема.

Позвольте мне сыграть адвокат дьявола здесь. Я думаю, что многие ответы убедительно доказывают, что процедура босса в корне ошибочна. В то же время я предлагаю контрпример, который иллюстрирует, что начальник, возможно, действительно видел результаты, улучшающиеся с этим ошибочным преобразованием.

Я думаю, что признание того, что эта процедура могла бы «сработать» для босса, могло бы привести к более убедительному аргументу: конечно, это сработало, но только при таких счастливых обстоятельствах, которые обычно не сработают. Тогда мы можем показать - как в отличном принятом ответе - как плохо может быть, когда нам не везет. Который в большинстве случаев. В изоляции, показывая босс , как плохо это может быть не может убедить его , потому что он , возможно , видел случай , когда он делает улучшить положение вещей, и фигуру , что наши фантазии аргумент должен иметь изъян где - то.

Я нашел эти данные в Интернете, и, конечно же, кажется, что регрессия улучшается благодаря независимой сортировке X и Y, потому что: а) данные имеют высокую положительную корреляцию, и б) OLS действительно плохо справляется с экстремальными (высокими -предельные) выбросы. Рост и вес имеют соотношение 0,19 с включенным выбросом, 0,77 с исключенным выбросом и 0,78 с независимой сортировкой X и Y.

x <- read.csv ("https://vincentarelbundock.github.io/Rdatasets/csv/car/Davis.csv", header=TRUE)

plot (weight ~ height, data=x)

lm1 <- lm (weight ~ height, data=x)

xx <- x
xx$weight <- sort (xx$weight)
xx$height <- sort (xx$height)

plot (weight ~ height, data=xx)

lm2 <- lm (weight ~ height, data=xx)

plot (weight ~ height, data=x)
abline (lm1)
abline (lm2, col="red")

plot (x$height, x$weight)
points (xx$height, xx$weight, col="red")

Таким образом, мне кажется, что регрессионная модель в этом наборе данных улучшена независимой сортировкой (черная по сравнению с красной линией на первом графике), и существует видимая связь (черный с красным на втором графике) из-за того, что конкретный набор данных является в высокой (положительной) степени коррелирует и имеет правильные виды выбросов, которые наносят вред регрессии больше, чем тасование, которое происходит, когда вы независимо сортируете x и y.

Опять же, не говоря, что независимая сортировка вообще делает что-то разумное, или что это правильный ответ здесь. Просто босс мог видеть что-то подобное, что могло сработать при правильных обстоятельствах.

Если он предварительно выбрал переменные, чтобы быть монотонными, это на самом деле довольно надежно. Google "неправильные линейные модели" и "Робин Доус" или "Говард Уэйнер". Доус и Вайнер говорят об альтернативных способах выбора коэффициентов. У Джона Кука есть небольшая колонка ( http://www.johndcook.com/blog/2013/03/05/robustness-of-equal-weights/ ).

Я думал об этом и думал, что здесь есть некоторая структура, основанная на статистике заказов. Я проверил, и, кажется, менеджер менеджера не так чокнутый, как кажется

Коэффициент корреляции статистики заказов как новое измерение ассоциации с приложениями для анализа биосигналов

http://www.researchgate.net/profile/Weichao_Xu/publication/3320558_Order_Statistics_Correlation_Coefficient_as_a_Novel_Association_Measurement_With_Applications_to_Biosignal_Analysis/links/0912f507ed6f94a3c6000000.pdf

Мы предлагаем новый коэффициент корреляции на основе статистики порядка и неравенства перестановок. Предложенный коэффициент представляет собой компромисс между линейным коэффициентом Пирсона и двумя коэффициентами, основанными на ранге, а именно: число Спирмена и тау Кендалла. Теоретические выводы показывают, что наш коэффициент обладает теми же основными свойствами, что и три классических коэффициента. Экспериментальные исследования, основанные на четырех моделях и шести биосигналах, показывают, что наш коэффициент работает лучше, чем два ранговых коэффициента при измерении линейных ассоциаций; тогда как он хорошо способен обнаруживать монотонные нелинейные ассоциации, такие как два ранговых коэффициента. Обширные статистические анализы также показывают, что наш новый коэффициент имеет превосходную устойчивость к шуму, небольшой уклон,