Как сумма двух переменных может объяснить большую дисперсию, чем отдельные переменные?

Я получаю некоторые ошеломляющие результаты для корреляции суммы с третьей переменной, когда два предиктора отрицательно коррелируют. Что вызывает эти недоумения результаты?

Пример 1: корреляция между суммой двух переменных и третьей переменной

Рассмотрим формулу 16.23 на странице 427 текста Гилфорда 1965 года, показанного ниже.

Недоумение: если обе переменные коррелируют .2 с третьей переменной и -.7 коррелируют друг с другом, формула приводит к значению .52. Как может корреляция суммы с третьей переменной быть .52, если каждая из двух переменных коррелирует только .2 с третьей переменной?

Пример 2. Какова множественная корреляция между двумя переменными и третьей переменной?

Рассмотрим формулу 16.1 на странице 404 текста Гилфорда 1965 года (показан ниже).

Недоумение: та же ситуация. Если обе переменные коррелируют .2 с третьей переменной и коррелируют -.7 друг с другом, формула приводит к значению .52. Как может корреляция суммы с третьей переменной быть .52, если каждая из двух переменных коррелирует только .2 с третьей переменной?

Я попробовал небольшое моделирование по методу Монте-Карло, и оно подтверждает результаты формул Гилфорда.

Но если каждый из двух предикторов прогнозирует 4% дисперсии третьей переменной, как их сумма может прогнозировать 1/4 дисперсии?

Источник: Фундаментальная статистика в психологии и образовании, 4-е изд., 1965.

ПОЯСНЕНИЯ

Ситуация, с которой я имею дело, включает в себя прогнозирование будущей деятельности отдельных людей на основе измерения их способностей сейчас.

Две диаграммы Венна ниже показывают мое понимание ситуации и призваны прояснить мою загадку.

Эта диаграмма Венна (рис. 1) отражает нулевой порядок r = .2 между x1 и C. В моей области есть много таких переменных-предикторов, которые скромно предсказывают критерий.

Эта диаграмма Венна (рис. 2) отражает два таких предиктора, x1 и x2, каждый из которых предсказывает C при r = .2, а два предиктора отрицательно коррелируют, r = -. 7.

Я затрудняюсь представить взаимосвязь между двумя предикторами r = .2, которые позволили бы им вместе предсказать 25% дисперсии C.

Я ищу помощи в понимании отношений между x1, x2 и C.

Если (как предлагают некоторые в ответ на мой вопрос) x2 действует как переменная-супрессор для x1, какая область на второй диаграмме Венна подавляется?

Если конкретный пример был бы полезен, мы можем считать x1 и x2 двумя человеческими способностями, а C - 4-летним GPA колледжа, 4 года спустя.

У меня возникли проблемы с представлением, как переменная-подавитель может вызвать 8% -ную объясняемую дисперсию двух r = .2 нулевого порядка r, чтобы увеличить и объяснить 25% дисперсии C. Конкретный пример был бы очень полезным ответом.

Это может произойти, когда оба предиктора содержат большой фактор неприятности, но с противоположным знаком, поэтому, когда вы их складываете, неприятность отменяется, и вы получаете нечто гораздо ближе к третьей переменной.

Давайте проиллюстрируем это еще более экстремальным примером. Предположим, что - независимые стандартные нормальные случайные величины. Теперь давай$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

Скажите, что - ваша третья переменная, A , B - ваши два предиктора, а X - скрытая переменная, о которой вы ничего не знаете. Корреляция A с Y равна 0, а B с Y очень мала, близка к 0,00001. * Но корреляция A + B с $Y$$A, B$$X$$A+B$$Y$ равна 1.

* Существует небольшая поправка на стандартное отклонение B, составляющее чуть больше 1.

Может быть полезно представить три переменные как линейные комбинации других некоррелированных переменных. Чтобы улучшить наше понимание, мы можем изобразить их геометрически, поработать с ними алгебраически и предоставить статистические описания по своему усмотрению.

Рассмотрим, то, три коррелированы с нулевым средним, единичной дисперсией переменных , Y , и Z . Из них строят следующее:$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

Геометрическое объяснение

На следующем рисунке представлено все, что вам нужно для понимания взаимосвязи между этими переменными.

Эта псевдо-3D диаграмма показывает , V , W и U + V в системе координат X , Y , Z. Углы между векторами отражают их корреляции (коэффициенты корреляции - косинусы углов). Большая отрицательная корреляция между U и V отражается в тупом угле между ними. Небольшие положительные корреляции U и V с W отражаются в их почти перпендикулярности. Однако сумма U и V попадает прямо под $U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$, делая острый угол (около 45 градусов): есть неожиданно высокая положительная корреляция.

---

Алгебраические вычисления

Для тех, кто хочет большей строгости, вот алгебра для резервного копирования геометрии в графике.

Все эти квадратные корни находятся там, чтобы у , V и W тоже были единичные дисперсии: это облегчает вычисление их корреляций, потому что корреляции будут равны ковариациям. Следовательно$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

потому что и Y некоррелированы. Так же,$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

и

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

В заключение,

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

Следовательно, эти три переменные имеют желаемую корреляцию.

---

Статистическое объяснение

Теперь мы можем понять, почему все работает так:

• и У имеют сильную отрицательную корреляцию - 7 / 10 , так как V пропорциональна негатив U плюс немного «шум» в виде небольших кратного Y .$U$$V$$-7/10$$V$$U$$Y$

• и W имеют слабую положительную корреляцию 1 / 5 , потому что W включаетсебя небольшое кратное U плюс много шума в виде кратных Y и Z .$U$$W$$1/5$$W$$U$$Y$$Z$

• и W имеют слабую положительную корреляцию 1 / 5 , потому что Вт (при умножении на$V$$W$$1/5$$W$ , которая не изменит никаких корреляций) - это сумма трех вещей:$\sqrt{75}$

  • , что положительно коррелирует сV;$\sqrt{17}Y$$V$
  • , чьяотрицательнаякорреляция сVуменьшает общую корреляцию;$-\sqrt{3}X$$V$
  • и кратное которое вносит много шума.$Z$

• Тем не менее, скорее положительно коррелирует сWпоскольку она является кратным той частиWкоторая не включаетZ.$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

Еще один простой пример:

• $z \sim \mathcal{N}(0,1)$
• Let $x_1 \sim \mathcal{N}(0,1)$
• Let $x_2 = z - x_1$ (hence $z = x_1 + x_2$)

Then:

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

Geometrically, what's going on is like in WHuber's graphic. Conceptually, it might look something like this:

(At some point in your math career, it can be enlightening to learn that random variables are vectors, $E[XY]$ is an inner product, and hence correlation is the cosine of the angle between the two random variables.)

$x_1$ and $z$ are uncorrelated, hence they're orthogonal. Let $\theta$ denote the angle between two vectors.

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

To connect to the discussion in the comments Flounderer's answer, think of $z$ as some signal, $-x_1$ as some noise, and noisy signal $x_2$ as the sum of signal $z$ and noise $-x_1$. Adding $x_1$ to $x_2$ is equivalent to subtracting noise $-x_1$ from the noisy signal $x_2$.

Addressing your comment:

Despite the math, I still do not see the logic of the sum of two variables explaining 25+% of the variance of a third variable when each off the two variables that go into the sum predict but 4% of the variance of that third variable. How can 8% explained variance become 25% explained variance just by adding the two variables?

The issue here seems to be the terminology "variance explained". Like a lot of terms in statistics, this has been chosen to make it sound like it means more than it really does.

Here's a simple numerical example. Suppose some variable $Y$ has the values

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

and $U$ is a small multiple of $Y$ plus some error $R$. Let's say the values of $R$ are much larger than the values of $Y$.

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

and $U = R + 0.1Y$, so that

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

and suppose another variable $V=-R+0.1Y$ so that

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

Then both $U$ and $V$ have very small correlation with $Y$, but if you add them together then the $r$'s cancel and you get exactly $0.2Y$, which is perfectly correlated with $Y$.

In terms of variance explained, this makes perfect sense. $Y$ explains a very small proportion of the variance in $U$ because most of the variance in $U$ is due to $R$. Similarly, most of the variance in $V$ is due to $R$. But $Y$ explains all of the variance in $U+V$. Here is a plot of each variable:

However, when you try to use the term "variance explained" in the other direction, it becomes confusing. This is because saying that something "explains" something else is a one-way relationship (with a strong hint of causation). In everyday language, $A$ can explain $B$ without $B$ explaining $A$. Textbook authors seem to have borrowed the term "explain" to talk about correlation, in the hope that people won't realise that sharing a variance component isn't really the same as "explaining".