Может кто-нибудь проиллюстрировать, как может быть зависимость и нулевая ковариация?

12

Может ли кто-нибудь проиллюстрировать, как это делает Грег, но более подробно, как случайные величины могут зависеть, но иметь нулевую ковариацию? Грег, плакат здесь, приводит пример с использованием круга здесь .

Может ли кто-нибудь объяснить этот процесс более подробно, используя последовательность шагов, которые иллюстрируют процесс на нескольких этапах?

Кроме того, если вам известен пример из психологии, пожалуйста, проиллюстрируйте эту концепцию связанным примером. Пожалуйста, будьте очень точны и последовательны в своем объяснении, а также укажите, какими могут быть некоторые последствия.

user11883
источник
Ссылка на статью, на которую вы ссылаетесь, поможет.
gui11aume
1
Я почти уверен, что тема здесь: stats.stackexchange.com/questions/12842/… и ответ Грега (Сноу) здесь: stats.stackexchange.com/a/12898/2073
Энди МакКензи,
Сначала я думал, что закрытие этого вопроса было правильным, но я думаю, что, возможно, он задает немного другой вопрос, отсюда stats.stackexchange.com/questions/12842/… поскольку эта тема только что попросила математические примеры, в то время как этот вопрос, кажется, ищет понимания точно почему два не эквивалентны
Макро

Ответы:

21

Основная идея здесь заключается в том, что ковариация измеряет только один конкретный тип зависимости , поэтому эти два не эквивалентны. В частности,

  • Ковариация - это мера линейной зависимости двух переменных. Если две переменные связаны нелинейно, это не будет отражено в ковариации. Более подробное описание можно найти здесь .

  • Зависимость между случайными переменными относится к любому типу отношений между ними, который заставляет их действовать «вместе» иначе, чем «сами». В частности, зависимость между случайными переменными включает в себя любые отношения между ними, которые приводят к тому, что их совместное распределение не является продуктом их предельных распределений. Это включает в себя линейные отношения, а также многие другие.

  • Если две переменных нелинейно связаны между собой , то они могут потенциально иметь 0 ковариации , но все еще зависит - много примеров приведены здесь и этот участок ниже из википедии дают некоторые графические примеры в нижней строке:

    введите описание изображения здесь

  • Один пример, где нулевая ковариация и независимость между случайными переменными являются эквивалентными условиями, - это когда переменные совместно нормально распределены (то есть две переменные следуют за двумерным нормальным распределением , которое не эквивалентно двум переменным, которые индивидуально нормально распределены). Другим частным случаем является то, что пары переменных Бернулли некоррелированы тогда и только тогда, когда они независимы (спасибо @cardinal). Но, в целом, эти два понятия нельзя считать эквивалентными.

Поэтому, в общем, нельзя сделать вывод, что две переменные являются независимыми только потому, что они кажутся некоррелированными (например, не отказались от нулевой гипотезы отсутствия корреляции). Рекомендуется составить график данных, чтобы определить, связаны ли эти два аспекта, а не просто остановиться на тесте корреляции. Например, (спасибо @gung), если запустить линейную регрессию (т. Е. Проверить ненулевую корреляцию) и найти незначительный результат, можно прийти к выводу, что переменные не связаны, но вы ' Мы исследовали только линейные отношения.

Я не знаю много о психологии, но есть смысл, что там могут быть нелинейные отношения между переменными. В качестве игрушечного примера представляется возможным, что когнитивные способности нелинейно связаны с возрастом - очень молодые и очень старые люди не такие острые, как 30-летний. Если бы кто-то изобразил некоторую меру когнитивной способности в зависимости от возраста, можно было бы ожидать, что когнитивные способности наиболее высоки в умеренном возрасте и уменьшаются вокруг этого, что будет нелинейным паттерном.

макрос
источник
1
Просто примечание ( педантичный ?! ), но случайные величины Бернулли независимы тогда и только тогда, когда они некоррелированы. :)
кардинал
@cardinal, не волнуйтесь, это просто я снова отказываюсь от рациональности, вроде того, когда вы говорили, что многовариантный нормаль с сингулярной ковариационной матрицей "обычно используется и является статистически значимым".
Макро
В следующий раз, когда я буду в Энн Арборе, я куплю тебе кофе, чтобы попытаться компенсировать эту шутку. :) Не стесняйтесь ставить под сомнение мою рациональность в то же время. :)
кардинал
Ах, но эта последняя цитата верна . ;-) Это проявляется в некоторых удивительно общих местах. :) (Хотя это становится немного не по теме здесь.)
кардинал
(+1) Я был на пределе о том, должен ли этот вопрос быть закрыт как дубликат или нет. Но я думаю, что хорошие ответы могут сделать очень похожие вопросы достойными внимания. Наличие всего сшитого помогает.
кардинал
7

Стандартный способ обучения / визуализации корреляции или ковариации состоит в том, чтобы построить данные, нарисовать линии со средними значениями «x» и «y», а затем нарисовать прямоугольники от точки 2 до отдельных точек данных, например:

введите описание изображения здесь

Прямоугольники (точки) в верхнем правом и нижнем левом квадрантах (красный в примере) вносят положительные значения в корреляцию / ковариацию, в то время как прямоугольники (точки) в верхнем левом и нижнем правом квадрантах (синий в примере) вносят отрицательные значения для корреляции / ковариации. Если общая площадь красных прямоугольников равна общей площади синих прямоугольников, то положительные и отрицательные стороны удаляются, и вы получаете нулевую ковариацию. Если в красном цвете больше области, то ковариация будет положительной, а если в голубой зоне больше площади, то ковариация будет отрицательной.

Теперь давайте посмотрим на пример из предыдущего обсуждения:

введите описание изображения здесь

Отдельные точки следуют за параболой, поэтому они зависимы, если вы знаете «x», то вы точно знаете «y», но вы также можете видеть, что для каждого красного прямоугольника есть соответствующий синий прямоугольник, поэтому окончательная ковариация будет равна 0 ,

Грег Сноу
источник
(+1) есть Rпакет, который создает эти графики (я помню, когда однажды отображал такой график) или вы сделали это с нуля?
Макро
@ Макро, хороший вопрос, хотя я думаю, что они были сделаны в Mathematica. Это просто сделать «вручную» в R, используя polygonили rectи устройство, которое поддерживает альфа-прозрачность.
кардинал
Я написал функцию для создания этого сюжета и, возможно, скоро добавлю ее в TeachingDemosпакет. Моя первая мысль заключалась в том, чтобы сократить фразу «прямоугольники корреляции» до «исправить» в качестве имени функции, а затем немного поняла, что имя можно легко неправильно понять как делающее что-то совершенно другое. Поэтому мне нужно придумать лучшее имя, добавить пару вариантов и загрузить его в R-Forge.
Грег Сноу,
3

Один простой тест, если, если данные в основном следуют шаблону, симметричному относительно вертикальной или горизонтальной оси с помощью средних значений, коварность будет довольно близка к нулю. Например, если симметрия находится вокруг оси y, это означает, что для каждого значения с данным y существует положительное отличие x от среднего значения x и отрицательное отличие от среднего значения x. Добавление y * x для этих значений будет равно нулю. Это хорошо видно на примере иллюстративных графиков в других ответах. Существуют и другие паттерны, которые дают нулевую ко-дисперсию, но не независимость, но многие примеры легко оцениваются по симметрии или нет.

Дэвид Б
источник
1

Пример из Википедии :

«Если переменные независимы, коэффициент корреляции Пирсона равен 0, но обратное неверно, поскольку коэффициент корреляции обнаруживает только линейные зависимости между двумя переменными. Например, предположим, что случайная величина X симметрично распределена относительно нуля, а Y = X ^ 2. Тогда Y полностью определяется X, так что X и Y полностью зависимы, но их корреляция равна нулю; они некоррелированы. Однако в особом случае, когда X и Y совместно нормальны, некоррелированность эквивалентна независимости ».

accssharma
источник