Как бы вы объяснили ковариацию тому, кто понимает только среднее?

... предполагая, что я могу расширить их знания об отклонениях интуитивно (интуитивно понимая «дисперсию» ) или сказав: это среднее расстояние между значениями данных и «средним» - и поскольку дисперсия находится в квадрате единицы, мы берем квадратный корень, чтобы сохранить единицы, и это называется стандартным отклонением.

Давайте предположим, что многое сформулировано и (надеюсь) понято «получателем». Теперь, что такое ковариация и как можно объяснить это простым английским языком без использования каких-либо математических терминов / формул? (Т.е. интуитивное объяснение.;)

Обратите внимание: я знаю формулы и математику, лежащую в основе концепции. Я хочу быть в состоянии «объяснить» то же самое в легкой для понимания форме, не включая математику; то есть, что вообще означает «ковариация»?

Иногда мы можем «расширять знания» необычным или другим подходом. Мне бы хотелось, чтобы этот ответ был доступен для детских садов, а также повеселиться, чтобы все достали ваши карандаши!

Учитывая парные данные, нарисуйте их диаграмму рассеяния. (Младшим ученикам может понадобиться учитель, чтобы создать это для них. :-) Каждая пара точек , на этом графике определяет прямоугольник: это самый маленький прямоугольник, стороны которого параллельны оси, содержащие эти точки. Таким образом, точки находятся либо в верхнем правом и нижнем левом углах («положительное» отношение), либо в верхнем левом и нижнем правом углах («отрицательное» отношение).$(x,y)$$(x_i,y_i)$$(x_j,y_j)$

Нарисуйте все возможные такие прямоугольники. Раскрасьте их прозрачно, сделав положительные прямоугольники красными (скажем), а отрицательные прямоугольники «анти-красными» (синие). Таким образом, везде, где прямоугольники перекрываются, их цвета либо улучшаются, когда они одинаковы (синий и синий, либо красный и красный), либо отменяются, если они разные.

( На этой иллюстрации положительного (красного) и отрицательного (синего) прямоугольника перекрытие должно быть белым; к сожалению, это программное обеспечение не имеет истинного «анти-красного» цвета. Перекрытие серое, поэтому оно затемнит сюжет, но в целом чистое количество красного цвета правильное. )

Теперь мы готовы к объяснению ковариации.

Ковариация - это чистое количество красного на графике (рассматривая синий как отрицательные значения).

Вот несколько примеров с 32 бинормальными точками, взятыми из распределений с заданными ковариациями, упорядоченными от самых отрицательных (самые голубые) до самых положительных (самые красные).

Они нарисованы на общих осях, чтобы сделать их сопоставимыми. Прямоугольники слегка очерчены, чтобы помочь вам увидеть их. Это обновленная (2019 г.) версия оригинала: она использует программное обеспечение, которое корректно отменяет красный и голубой цвета в перекрывающихся прямоугольниках.

Давайте выведем некоторые свойства ковариации. Понимание этих свойств будет доступно любому, кто на самом деле нарисовал несколько прямоугольников. :-)

• Билинейность. Поскольку количество красного цвета зависит от размера графика, ковариация прямо пропорциональна шкале на оси X и шкале на оси Y.

• Корреляция. Ковариация увеличивается, когда точки приближаются к наклонной линии вверх, и уменьшается, когда точки приближаются к наклонной линии вниз. Это связано с тем, что в первом случае большинство прямоугольников являются положительными, а во втором случае большинство отрицательных.

• Связь с линейными ассоциациями. Поскольку нелинейные ассоциации могут создавать смеси положительных и отрицательных прямоугольников, они приводят к непредсказуемым (и не очень полезным) ковариациям. Линейные ассоциации могут быть полностью интерпретированы с помощью двух предыдущих характеристик.

• Чувствительность к выбросам. Геометрический выброс (одна точка, стоящая в стороне от массы) создаст много больших прямоугольников вместе со всеми остальными точками. Одно это может создать чистое положительное или отрицательное количество красного в общей картине.

Кстати, это определение ковариации отличается от обычного только универсальной константой пропорциональности (независимо от размера набора данных). Математически склонный не будет иметь проблем с выполнением алгебраической демонстрации того, что приведенная здесь формула всегда в два раза больше обычной ковариации.

Чтобы уточнить мой комментарий, я использовал преподавание ковариации как меру (среднего) ко-вариации между двумя переменными, скажем, и .$x$$y$

Полезно вспомнить основную формулу (легко объяснить, не нужно говорить о математических ожиданиях для вводного курса):

так что мы ясно видим, что каждое наблюдение может вносить положительный или отрицательный вклад в ковариацию, в зависимости от произведения их отклонения от среднего значения двух переменных, и . Обратите внимание, что я не говорю о величине здесь, но просто о знаке вклада i-го наблюдения.$(x_i,y_i)$$\bar x$$\bar y$

Это то, что я изобразил на следующих диаграммах. Искусственные данные были получены с использованием линейной модели (слева, ; справа, , где были взяты из гауссовского распределения с нулевым средним и , и из равномерного распределения на интервале ).$y = 1.2x + \varepsilon$$y = 0.1x + \varepsilon$$\varepsilon$$\text{SD}=2$$x$$[0,20]$

Вертикальные и горизонтальные столбцы представляют среднее значение и соответственно. Это означает, что вместо «просмотра отдельных наблюдений» из источника мы можем сделать это из . Это равносильно переводу по осям X и Y. В этой новой системе координат каждое наблюдение, расположенное в верхнем правом или нижнем левом квадранте, вносит положительный вклад в ковариацию, тогда как наблюдения, расположенные в двух других квадрантах, вносят отрицательный вклад в нее. В первом случае (слева) ковариация равна 30,11, и распределение в четырех квадрантах приведено ниже:$x$$y$$(0,0)$$(\bar x, \bar y)$

   +  -
+ 30  2
-  0 28

Понятно, что когда выше среднего, то и соответствующие (wrt. ). Глазная форма двумерного облака точек, когда значения увеличиваются, значения имеют тенденцию к увеличению. (Но помните, что мы могли бы также использовать тот факт, что существует четкая связь между ковариацией и наклоном линии регрессии, т.е. .)$x_i$$y_i$$\bar y$$x$$y$$b=\text{Cov}(x,y)/\text{Var}(x)$

Во втором случае (справа тот же ) ковариация равна 3,54, и распределение по квадрантам является более «однородным», как показано ниже:$x_i$

   +  -
+ 18 14
- 12 16

Другими словами, существует увеличение числа случая , когда «ы и » ы не covary в том же направлении WRT. их средства.$x_i$$y_i$

Обратите внимание, что мы можем уменьшить ковариацию, масштабируя либо либо . На левой панели ковариация (или ) уменьшается в десять раз (3,01). Поскольку единицы измерения и разброс значений и (относительно их средних) затрудняют интерпретацию значения ковариации в абсолютном выражении, мы обычно масштабируем обе переменные по их стандартным отклонениям и получаем коэффициент корреляции. Это означает, что в дополнение к перецентрированию нашего графика рассеяния в$x$$y$$(x/10,y)$$(x,y/10)$$x$$y$$(x,y)$$(\bar x, \bar y)$мы также масштабируем x- и y-единицу с точки зрения стандартного отклонения, что приводит к более понятной мере линейной ковариации между и .$x$$y$

Ковариантность - это мера того, насколько одна переменная возрастает, когда повышается другая.

Я отвечаю на свой вопрос, но я подумал, что было бы здорово, если бы люди, перебирающие этот пост, ознакомились с некоторыми объяснениями на этой странице .

Я перефразирую один из очень хорошо сформулированных ответов (пользователь 'Zhop'). Я делаю это на тот случай, если этот сайт закрывается или страница закрывается, когда кто-то через некоторое время получает доступ к этому сообщению;)

Ковариация является мерой того, насколько две переменные изменяются вместе. Сравните это с дисперсией, которая является просто диапазоном, в котором изменяется один показатель (или переменная).

Изучая социальные модели, вы можете выдвинуть гипотезу о том, что более состоятельные люди, вероятно, будут более образованными, поэтому вы попытаетесь увидеть, насколько тесно взаимосвязаны показатели богатства и образования. Вы бы использовали меру ковариации, чтобы определить это.

...

Я не уверен, что вы имеете в виду, когда спрашиваете, как это относится к статистике. Это одна мера учил во многих классах статистики. Вы имели в виду, когда вы должны его использовать?

Вы используете его, когда хотите увидеть, насколько две или более переменные изменяются относительно друг друга.

Подумайте о людях в команде. Посмотрите, как они различаются по географическому расположению по сравнению друг с другом. Когда команда играет или тренируется, расстояние между отдельными членами очень мало, и мы бы сказали, что они находятся в одном месте. И когда их местоположение меняется, оно меняется для всех людей вместе (скажем, поездка на автобусе в игру). В этой ситуации мы бы сказали, что они имеют высокий уровень ковариации. Но когда они не играют, то коэффициент ковариации, вероятно, будет довольно низким, потому что они все собираются в разных местах с разной скоростью.

Таким образом, вы можете предсказать местоположение одного члена команды, основываясь на местоположении другого члена команды, когда они практикуются или играют в игру с высокой степенью точности. Я полагаю, что ковариационное измерение будет близко к 1. Но когда они не тренируются или не играют, у вас будет гораздо меньше шансов предсказать местоположение одного человека на основе местоположения члена команды. Вероятно, он будет близок к нулю, хотя и не равен нулю, поскольку иногда члены команды будут друзьями и могут вместе ходить в свободное время.

Однако, если вы случайно выбрали людей в Соединенных Штатах и ​​попытались использовать одно из них, чтобы предсказать местоположение другого, вы, вероятно, обнаружите, что ковариация равна нулю. Другими словами, нет абсолютно никакой связи между местоположением одного случайно выбранного человека в США и местоположением другого.

Добавление еще одного (от CatofGrey), которое помогает увеличить интуицию:

В теории вероятностей и статистике ковариация - это мера того, насколько две случайные переменные изменяются вместе (в отличие от дисперсии, которая измеряет, насколько изменяется одна переменная).

Если две переменные имеют тенденцию изменяться вместе (то есть, когда одна из них выше ожидаемого значения, тогда другая переменная также имеет тенденцию быть выше ожидаемого значения), то ковариация между двумя переменными будет положительной. С другой стороны, если одна из них выше ожидаемого значения, а другая переменная имеет тенденцию быть ниже ожидаемого значения, то ковариация между двумя переменными будет отрицательной.

Эти два вместе заставили меня понять ковариацию, поскольку я никогда не понимал это прежде! Просто удивительно!!

Мне очень нравится ответ Уубер, поэтому я собрал еще несколько ресурсов. Ковариация описывает как степень распространения переменных, так и характер их отношений.

Ковариация использует прямоугольники, чтобы описать, насколько далеко наблюдение от среднего значения на графике рассеяния:

• Если прямоугольник имеет длинные стороны и большую ширину или короткие стороны и короткую ширину, это свидетельствует о том, что две переменные перемещаются вместе.

• Если у прямоугольника есть две стороны, которые являются относительно длинными для этой переменной, и две стороны, которые являются относительно короткими для другой переменной, это наблюдение обеспечивает доказательство того, что переменные не очень хорошо движутся вместе.

• Если прямоугольник находится во 2-м или 4-м квадранте, то, когда одна переменная больше среднего, другая меньше среднего. Увеличение одной переменной связано с уменьшением другой.

Я нашел отличную визуализацию этого на http://sciguides.com/guides/covariance/. Это объясняет, что такое ковариация, если вы просто знаете среднее.

Вот еще одна попытка объяснить ковариацию с помощью картинки. Каждая панель на рисунке ниже содержит 50 точек, смоделированных из двумерного распределения с корреляцией между x & y 0,8 и отклонениями, как показано на метках строк и столбцов. Ковариация показана в правом нижнем углу каждой панели.

Любой, кто заинтересован в улучшении этого ... вот код R:

library(mvtnorm)

rowvars <- colvars <- c(10,20,30,40,50)

all <- NULL
for(i in 1:length(colvars)){
  colvar <- colvars[i]
  for(j in 1:length(rowvars)){
    set.seed(303)  # Put seed here to show same data in each panel
    rowvar <- rowvars[j]
    # Simulate 50 points, corr=0.8
    sig <- matrix(c(rowvar, .8*sqrt(rowvar)*sqrt(colvar), .8*sqrt(rowvar)*sqrt(colvar), colvar), nrow=2)
    yy <- rmvnorm(50, mean=c(0,0), sig)
    dati <- data.frame(i=i, j=j, colvar=colvar, rowvar=rowvar, covar=.8*sqrt(rowvar)*sqrt(colvar), yy)
    all <- rbind(all, dati)
  }
}
names(all) <- c('i','j','colvar','rowvar','covar','x','y')
all <- transform(all, colvar=factor(colvar), rowvar=factor(rowvar))
library(latticeExtra)
useOuterStrips(xyplot(y~x|colvar*rowvar, all, cov=all$covar,
                      panel=function(x,y,subscripts, cov,...){
                        panel.xyplot(x,y,...)
                        print(cor(x,y))
                        ltext(14,-12, round(cov[subscripts][1],0))
                      }))

Мне понравился ответ @whuber - до этого у меня была лишь смутная идея о том, как можно представить визуализацию ковариации, но эти прямоугольные графики гениальны.

Однако, поскольку формула для ковариации включает в себя среднее значение, а в первоначальном вопросе ОП говорилось, что «получатель» действительно понимает концепцию среднего, я подумал, что у меня будет трещина в адаптации прямоугольных графиков @ whuber для сравнения каждой точки данных с означает х и у, так как это больше представляет то, что происходит в формуле ковариации. Я думал, что на самом деле это выглядит довольно интуитивно:

Синяя точка в середине каждого графика означает среднее значение x (x_mean) и среднее значение y (y_mean).

Прямоугольники сравнивают значения x - x_mean и y - y_mean для каждой точки данных.

Прямоугольник зеленый, если либо:

• и х и у больше, чем их соответствующие средства
• и х и у меньше, чем их соответствующие средства

Прямоугольник красный, если либо:

• x больше, чем x_mean, но y меньше, чем y_mean
• x меньше x_mean, но y больше y_mean

Ковариация (и корреляция) может быть как сильно отрицательной, так и сильно положительной. Когда на графике преобладает один цвет больше, чем другой, это означает, что данные в основном следуют последовательному шаблону.

• Если на графике больше зеленого, чем красного, это означает, что y обычно увеличивается при увеличении x.
• Если на графике больше красного, чем зеленого, это означает, что y обычно уменьшается при увеличении x.
• Если на графике не преобладает тот или иной цвет, это означает, что нет особой картины того, как x и y связаны друг с другом.

Фактическое значение ковариации для двух разных переменных x и y - это, как правило, сумма всех зеленых областей за вычетом всей красной области, затем деленная на общее количество точек данных - фактически среднее значение «зеленость-против-красная» графика ,

Как это звучит / выглядит?

Дисперсия - это степень, с которой случайное отклонение изменяется относительно ожидаемого значения. Из-за стохастического характера основного процесса, который представляет случайная величина.

Ковариантность - это степень изменения двух разных случайных величин относительно друг друга. Это может произойти, когда случайные величины управляются одним и тем же базовым процессом или его производными. Либо процессы, представленные этими случайными переменными, влияют друг на друга, либо это один и тот же процесс, но одна из случайных переменных является производной от другой.

Я бы просто объяснил корреляцию, которая довольно интуитивна. Я бы сказал: «Корреляция измеряет силу взаимосвязи между двумя переменными X и Y. Корреляция находится между -1 и 1 и будет близка к 1 по абсолютной величине, когда связь сильная. Ковариация - это просто корреляция, умноженная на стандартные отклонения две переменные. Таким образом, в то время как корреляция безразмерна, ковариация находится в произведении единиц для переменной X и переменной Y.

Двумя переменными, которые будут иметь высокую положительную ковариацию (корреляцию), будет количество людей в комнате и количество пальцев в комнате. (По мере того, как число людей увеличивается, мы ожидаем, что количество пальцев также увеличится.)

То, что может иметь отрицательную ковариацию (корреляцию), будет возраст человека и количество волосяных фолликулов на голове. Или количество прыщей на лице человека (в определенной возрастной группе) и сколько у них свиданий в неделю. Мы ожидаем, что люди с большим количеством лет будут иметь меньше волос, и люди с большим количеством прыщей будут иметь меньше дат .. Это отрицательно коррелирует.