Интуиция по определению ковариации

Я пытался лучше понять Ковариацию двух случайных переменных и понять, как первый человек, который об этом подумал, пришел к определению, которое обычно используется в статистике. Я пошел в Википедию, чтобы понять это лучше. Из статьи видно, что хороший показатель-кандидат или величина для должны обладать следующими свойствами:$Cov(X,Y)$

1. Он должен иметь положительный знак, когда две случайные переменные похожи (то есть, когда одна увеличивается, другая увеличивается, а когда одна уменьшается, другая тоже).
2. Мы также хотим, чтобы он имел отрицательный знак, когда две случайные переменные противоположно похожи (т.е. когда одна увеличивается, другая случайная переменная имеет тенденцию к уменьшению)
3. Наконец, мы хотим, чтобы эта ковариационная величина была равна нулю (или, возможно, чрезвычайно мала?), Когда две переменные не зависят друг от друга (т.е. они не изменяются по отношению друг к другу).

Из приведенных выше свойств мы хотим определить . Мой первый вопрос: мне не совсем понятно, почему удовлетворяет этим свойствам. От свойств, которые мы имеем, я ожидал бы, что больше подобного производному уравнения будет идеальным кандидатом. Например, что-то вроде «если изменение в X положительное, то изменение в Y также должно быть положительным». Кроме того, почему «правильная» вещь делает разницу от среднего?$Cov(X,Y)$$Cov(X,Y) = E[(X-E[X])(Y-E[Y])]$

Более касательный, но все же интересный вопрос: есть ли другое определение, которое могло бы удовлетворить эти свойства и было бы значимым и полезным? Я спрашиваю об этом, потому что, кажется, никто не задается вопросом, почему мы используем это определение в первую очередь (кажется, что оно «всегда было таким», что, на мой взгляд, является ужасной причиной и мешает научным и математическое любопытство и мышление). Является ли принятое определение «лучшим» определением, которое мы могли бы иметь?

Вот мои мысли о том, почему принятое определение имеет смысл (оно будет только интуитивным аргументом):

Позвольте $\Delta_X$ быть некоторой разницей для переменной X (то есть она изменилась от некоторого значения к некоторому другому значению через некоторое время). Аналогично для определения $\Delta_Y$ .

Для одного случая во времени мы можем вычислить, связаны ли они или нет, выполнив:

Это несколько мило! Для одного случая во времени он удовлетворяет свойствам, которые мы хотим. Если они оба увеличиваются вместе, то в большинстве случаев вышеуказанное количество должно быть положительным (и, аналогично, когда они противоположно похожи, оно будет отрицательным, поскольку будет иметь противоположные знаки).$Delta$

Но это только дает нам количество, которое мы хотим для одного экземпляра во времени, и, поскольку они являются rv, мы могли бы переопределить их, если бы решили основать отношение двух переменных на основе только одного наблюдения. Тогда почему бы не принять это ожидание, чтобы увидеть «средний» продукт различий.

Что в среднем должно отражать средние отношения, как определено выше! Но единственная проблема этого объяснения состоит в том, чем мы измеряем эту разницу? Что, кажется, решается путем измерения этой разницы от среднего значения (что по какой-то причине является правильным решением).

Я предполагаю, что главная проблема, которую я имею с определением, принимает разницу от среднего значения . Я пока не могу оправдать это для себя.

Интерпретация знака может быть оставлена ​​для другого вопроса, так как это, кажется, более сложная тема.

Представьте, что мы начинаем с пустой стопки чисел. Затем мы начинаем рисовать пары из их совместного распределения. Может произойти одно из четырех:$(X,Y)$

1. Если X и Y больше, чем их соответствующие средние значения, мы говорим, что пара похожа, и поэтому мы помещаем положительное число в стек.
2. Если X и Y меньше, то их соответствующие средние значения говорят, что пара похожа и положили положительное число в стек.
3. Если X больше среднего, а Y меньше среднего, мы говорим, что пара не одинакова и помещает в стек отрицательное число.
4. Если X меньше среднего, а Y больше среднего, мы говорим, что пара не одинакова и помещает в стек отрицательное число.

Затем, чтобы получить общую меру (несоответствия) X и Y, мы складываем все значения чисел в стеке. Положительная сумма предполагает, что переменные движутся в одном и том же направлении одновременно. Отрицательная сумма говорит о том, что переменные перемещаются в противоположных направлениях чаще, чем нет. Нулевая сумма говорит о том, что знание направления одной переменной мало что говорит о направлении другой.

Важно думать о «больше, чем в среднем», а не только о «большом» (или «положительном»), потому что любые две неотрицательные переменные будут тогда оцениваться как схожие (например, размер следующей автомобильной аварии на M42 и количество билетов, купленных на вокзале Паддингтон завтра).

Формула ковариации является формализацией этого процесса:

$\text{Cov}(X,Y)=\mathbb E[(X−E[X])(Y−E[Y])]$

Использование распределения вероятностей вместо симуляции Монте-Карло и указание размера числа, которое мы помещаем в стек.

Вот мой интуитивный способ смотреть на это без каких-либо уравнений.

1. Это обобщение дисперсии для более высоких измерений. Мотивация, вероятно, возникла из-за попыток описать, как ведут себя данные. К первому заказу у нас есть его местоположение - среднее. Во втором порядке мы имеем разброс - ковариацию.

   Я предполагаю, что главная проблема, которую я имею с определением, принимает разницу от среднего значения. Я пока не могу оправдать это для себя.

   разброс оценивается относительно центра распределения. Самым основным определением дисперсии является «среднее отклонение от среднего». следовательно, вы должны вычесть среднее значение и в случае Ковариации.

2. Другой основной мотив, который приходит на ум, - это необходимость определения способа измерения расстояния между случайными переменными. Расстояние Махаланобиса и ковариация идут рука об руку: учитывая гауссово распределение и два других образца, которые имеют равное евклидово расстояние до среднего распределения. Если бы я спросил вас, какой из образцов, скорее всего, будет выбросом, который не был взят из гауссовского распределения, евклидово расстояние не подойдет. Расстояние Махаланобиса имеет единственное заметное отличие от евклидова расстояния: оно учитывает разброс (ковариантность) распределения. Это позволяет обобщать расстояние до случайных величин.

3. Наконец, мы хотим, чтобы эта ковариационная величина была равна нулю (или, возможно, чрезвычайно мала?), Когда две переменные не зависят друг от друга (т.е. они не изменяются по отношению друг к другу).

$\left(\frac 12\right)$$X$$Y$$E[XY]$$E[XY] = \frac 14$$\hat{X}=1000X$$\hat Y = 1000Y$$E[\hat X \hat Y] = 250,000$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

2. Мы также хотим, чтобы он имел отрицательный знак, когда две случайные переменные противоположно похожи (т.е. когда одна увеличивается, другая случайная переменная имеет тенденцию к уменьшению)

$X$$Y = 1-X$$E[XY]=0$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

1. Он должен (sic) иметь положительный знак, когда две случайные переменные похожи (т. Е. Когда одна увеличивается, другая делает, а когда одна уменьшается, другая тоже).

$X$$Y = X-1$$E[XY]$$(X,Y) = E[(X-E[X])(Y-E[Y])]$ дает положительное значение, как вы хотите.

$X = Y$

Я задавался вопросом об одном и том же вопросе, и интуиция, данная догадками, помогла мне. Чтобы визуализировать интуицию, я взял два случайных нормальных вектора, x и y, построил график рассеяния и покрасил каждую точку как произведение их отклонений от соответствующих значений (синий для положительных значений, красный для отрицательных).

Как видно из графика, продукт является наиболее положительным в правом верхнем и нижнем левом квадрантах, а наиболее отрицательный - в правом нижнем и верхнем левом квадрантах. Эффект суммирования продуктов приведет к 0, так как синие точки отменяют красные.

Но вы можете видеть, что если мы удалили красные точки, оставшиеся данные демонстрируют положительную связь друг с другом, что подтверждается положительной суммой продуктов (то есть суммой синих точек).

в векторном пространстве случайных величин целесообразно определить квадрат расстояния между двумя случайными величинами x и y с помощью E {(xy) ^ 2}, теперь по отношению к этому определению произведение расстояния или отношения случайных величин будет равно E {xy}, который очень похож на определение ковариации, за исключением терминов -E {x} и -E {y}, которые относятся к типу нормализации.