Оценка для корреляции трех случайных величин

28

Есть три случайные величины, . Три корреляции между тремя переменными одинаковы. То есть,x,y,z

ρ=cor(x,y)=cor(x,z)=cor(y,z)

Какую самую тесную границу вы можете дать для ?ρ

user1352399
источник
1
Предположительно под "фо" вы имеете в виду rho ( ). Однако ваш вопрос неясен. Что ты имеешь в виду под «какой самый жесткий предел ты можешь дать»? ρ
gung - Восстановить Монику
Ну, имя переменной просто пустышка. Под самой жесткой границей я подразумеваю что-то вроде [-1, 1] для корреляции, но это явно не самая жесткая граница.
user1352399
Вы имеете в виду, что rho = cor (x, y) = cor (x, z) = cor (y, z), и каковы пределы для rho?
user31264
Да, я имею в виду, что rho = cor (x, y) = cor (x, z) = cor (y, z) и каковы пределы для rho. Дилип, можете ли вы сказать, что rho должно быть неотрицательным, то есть> = 0?
user1352399
1
Учебник, на который можно сослаться на это, - «Анализ линейной регрессии»
Себера

Ответы:

29

Общая корреляция может иметь значение но не . Если , то не может быть равно но фактически равно . Наименьшее значение общей корреляции трех случайных величин равно . В более общем смысле, минимальная общая корреляция случайных величин равна когда они рассматриваются как векторы и находятся в вершинах симплекса (размерности ) в мерном пространстве.+ 1 - 1 ρ X , Y = ρ X , Z = - 1 ρ Y , Z - 1 + 1 - 1ρ+11ρX,Y=ρX,Z=1ρY,Z1+1 n-112n n-1n1n1n1n

Рассмотрим дисперсию суммы единиц дисперсии случайных величин . У нас есть где - среднее значение значение из коэффициентов корреляции. Но поскольку , мы легко получаем из что X i var ( n i = 1 X i )nXi ˉ ρ

var(i=1nXi)=i=1nvar(Xi)+i=1njincov(Xi,Xj)=n+i=1njinρXi,Xj(1)=n+n(n1)ρ¯
ρ¯ вар(ΣяXя)0(1) ˉ р-1(n2)var(iXi)0(1)
ρ¯1n1.

Таким образом, среднее значение коэффициента корреляции не менее . Если все коэффициенты корреляции имеют одинаковое значение , то их среднее значение также равно и поэтому мы имеем это Можно ли иметь случайные величины, для которых общее значение корреляции равно ? Да. Предположим, что являются некоррелированными случайными переменными единичной дисперсии и . Тогда , а ρρρ-11n1ρρρ-1

ρ1n1.
ρ XiYi=Xi-11n1XiYi=Xi1nj=1nXj=XiX¯E[Yi]=0
var(Yi)=(n1n)2+(n1)(1n)2=n1n
и дающий Таким образом, являются случайными переменными, достигающими минимального значения общей корреляции . обратите внимание, что , и поэтому, рассматриваемые как векторы, случайные величины лежат в -мерной гиперплоскости
cov(Yi,Yj)=2(n1n)(1n)+(n2)(1n)2=1n
ρYi,Yj=cov(Yi,Yj)var(Yi)var(Yj)=1/n(n1)/n=1n1.
Yi1n1iYi=0(n1)nпространство.
Дилип Сарватэ
источник
25

Максимально возможная граница . 1/2ρ1 Все такие значения действительно могут появиться - ни одно не является невозможным.

Чтобы показать, что в результате нет ничего особенно глубокого или загадочного, этот ответ сначала представляет собой полностью элементарное решение, требующее только очевидного факта, что отклонения, являющиеся ожидаемыми значениями квадратов, должны быть неотрицательными. За этим следует общее решение (в котором используются немного более сложные алгебраические факты).

Элементарное решение

Дисперсия любой линейной комбинации должна быть неотрицательной. x,y,z Пусть дисперсия этих переменных равна и соответственно. Все они ненулевые (иначе некоторые корреляции не будут определены). Используя основные свойства дисперсий, мы можем вычислитьσ2,τ2,υ2

0Var(αx/σ+βy/τ+γz/υ)=α2+β2+γ2+2ρ(αβ+βγ+γα)

для всех действительных чисел .(α,β,γ)

Предполагая , небольшая алгебраическая манипуляция подразумевает, что это эквивалентноα+β+γ0

ρ1ρ13((α2+β2+γ2)/3(α+β+γ)/3)2.

Квадрат в правой части - это отношение двух степенных средних . Элементарная мощность среднего неравенства (с весами ) утверждает , что отношение не может превышать (и будет равно , когда ). Немного больше алгебры тогда подразумевает(α,β,γ)(1/3,1/3,1/3)11α=β=γ0

ρ1/2.

Ниже приведен явный пример (с использованием тривиальных нормальных переменных ), который показывает, что все такие значения, , действительно возникают как корреляции. Этот пример использует только определение многомерных нормалей, но в противном случае не вызывает результатов исчисления или линейной алгебры.n=3(x,y,z)1/2ρ1

Общее решение

обзор

Любая корреляционная матрица является ковариационной матрицей стандартизированных случайных величин, поэтому, как и все корреляционные матрицы, она должна быть положительной полуопределенной. Эквивалентно, его собственные значения неотрицательны. Это накладывает простое условие на : оно не должно быть меньше (и, конечно, не может превышать ). Наоборот, любой такой самом деле соответствует корреляционной матрице некоторого тривариатного распределения, доказывая, что эти границы являются максимально тесными.ρ1/21ρ


Вывод условий наρ

Рассмотрим корреляционную матрицу by со всеми недиагональными значениями, равными(Вопрос касается случая но это обобщение более не сложно анализировать.) Назовем его По определению, является собственным значением, если существует ненулевой вектор такой, чтоnnρ.n=3,C(ρ,n).λxλ

C(ρ,n)xλ=λxλ.

Эти собственные значения легко найти в данном случае, потому что

  1. Пусть , вычислим, что1=(1,1,,1)

    C(ρ,n)1=(1+(n1)ρ)1.
  2. Обозначение с только в месте (для ), вычислите этоyj=(1,0,,0,1,0,,0)1jthj=2,3,,n

    C(ρ,n)yj=(1ρ)yj.

Поскольку найденные собственных векторов охватывают полное мерное пространство (доказательство: простое сокращение строк показывает абсолютное значение их определителя, равное , которое отлично от нуля), они составляют основу всех собственных векторов. Поэтому мы нашли все собственные значения и определили, что они либо либо (последнее с кратностью ). В дополнение к общеизвестному неравенству которому удовлетворяют все корреляции, неотрицательность первого собственного значения также подразумеваетnnn1+(n1)ρ1ρn11ρ1

ρ1n1

в то время как неотрицательность второго собственного значения не накладывает новых условий.


Доказательство достаточности условий

Последствия работают в обоих направлениях: при условии, что матрица неотрицательно определена и, следовательно, является допустимой корреляционной матрицей. Это, например, корреляционная матрица для мультинормального распределения. Конкретно напиши1/(n1)ρ1,C(ρ,n)

Σ(ρ,n)=(1+(n1)ρ)Inρ(1ρ)(1+(n1)ρ)11

для обратного когда Например, когдаC(ρ,n)1/(n1)<ρ<1.n=3

Σ(ρ,3)=1(1ρ)(1+2ρ)(ρ+1ρρρρ+1ρρρρ+1).

Пусть вектор случайных величин имеет функцию распределения(X1,X2,,Xn)

fρ,n(x)=exp(12xΣ(ρ,n)x)(2π)n/2((1ρ)n1(1+(n1)ρ))1/2

где . Например, когда это равноx=(x1,x2,,xn)n=3

1(2π)3(1ρ)2(1+2ρ)exp((1+ρ)(x2+y2+z2)2ρ(xy+yz+zx)2(1ρ)(1+2ρ)).

Матрица корреляции для этих случайных величин равнаnC(ρ,n).

фигура

Контуры функций плотности Слева направо, . Обратите внимание, как плотность смещается от концентрации вблизи плоскости к концентрации вблизи линии .fρ,3.ρ=4/10,0,4/10,8/10x+y+z=0x=y=z

Частные случаи и также могут быть реализованы вырожденными распределениями; Я не буду вдаваться в подробности, за исключением того, что хочу указать, что в первом случае распределение можно считать поддерживаемым на гиперплоскости , где это сумма идентично распределенных средних значений Нормальное распределение, тогда как в последнем случае (идеальная положительная корреляция) оно поддерживается в строке, генерируемой , где оно имеет среднее значение - Нормальное распределение.ρ=1/(n1)ρ=1x.1=0010


Подробнее о невырожденности

Обзор этого анализа показывает, что корреляционная матрица имеет ранг а имеет ранг из (потому что только один собственный вектор имеет ненулевое собственное значение). При это делает матрицу корреляции вырожденной в любом случае. В противном случае существование его обратной доказывает, что оно невырождено.C(1/(n1),n)n1C(1,n)1n2Σ(ρ,n)

Whuber
источник
20

Ваша корреляционная матрица

(1ρρρ1ρρρ1)

Матрица положительно полуопределена, если все главные старшие миноры неотрицательны. Основными минорами являются детерминанты «северо-западных» блоков матрицы, т. Е. 1, детерминант

(1ρρ1)

и определитель самой корреляционной матрицы.

1, очевидно, является положительным, второй главный минор - , который неотрицателен для любой допустимой корреляции . Определитель всей корреляционной матрицы1ρ2ρ[1,1]

2ρ33ρ2+1.

График показывает определитель функции в диапазоне допустимых корреляций . [1,1]введите описание изображения здесь

Вы видите, что функция неотрицательна в диапазоне, заданном @stochazesthai (который вы также можете проверить, найдя корни детерминантного уравнения).

Кристоф Ханк
источник
Разве мы не предполагаем в вашем ответе, что ? Почему мы можем? Var()=1
Старик в море.
1
@ Anold Вы, кажется, читаете «ковариацию», где написано «корреляция».
whuber
6

Существуют случайные величины , и с попарными корреляциями тогда и только тогда, когда корреляционная матрица является положительной полуопределенной. Это происходит только для .Y Z ρ X Y = ρ Y Z = ρ X Z = ρ ρ [ - 1XYZρXY=ρYZ=ρXZ=ρρ[12,1]

stochazesthai
источник
2
Вы можете объяснить это очень простыми словами.
Элизабет Сьюзан Джозеф
1
Я не думаю, что существует объяснение, которое не требует знания алгебры матриц. Я предлагаю вам взглянуть на страницу Википедии ( en.wikipedia.org/wiki/… ).
Stochazesthai
4
Я нашел объяснение, которое требует только базовую (уровень средней школы) алгебру, и включил его в свой ответ.
whuber