Почему инверсия ковариационной матрицы дает частичные корреляции между случайными величинами?

32

Я слышал, что частичные корреляции между случайными переменными можно найти, инвертировав ковариационную матрицу и взяв соответствующие ячейки из такой результирующей матрицы точности (этот факт упоминается в http://en.wikipedia.org/wiki/Partial_correlation , но без доказательства) ,

Почему это так?

Михал
источник
1
Если вы хотите получить частичную корреляцию в ячейке, контролируемой для всех других переменных, то последний абзац здесь может пролить свет.
ttnphns

Ответы:

34

Когда многомерная случайная величина имеет невырожденную ковариационную матрицу , множество все действительные линейные комбинации образуют мерное вещественное векторное пространство с базисом и невырожденным внутренним произведением, задаваемымC = ( γ i j ) = ( Cov ( X i , X j ) ) X i n E = ( X 1 , X 2 , , X n )(X1,X2,,Xn)C=(γij)=(Cov(Xi,Xj))XinE=(X1,X2,,Xn)

Xi,Xj=γij .

Его двойной базис относительно этого внутреннего произведения , , однозначно определяется отношениямиE=(X1,X2,,Xn)

Xi,Xj=δij ,

дельта Кронекера (равна когда и противном случае).я = J 01i=j0

Двойственный базис представляет интерес здесь, потому что частичная корреляция и получается как корреляция между частью которая остается после проецирования его в пространство, охватываемое всеми другими векторами (давайте просто назовем его «остаточным», ) и сопоставимая часть , его остаточный . И все же - это вектор, который ортогонален всем векторам, кроме и имеет положительное внутреннее произведение на поэтому должно быть неотрицательным кратным , а также дляX j X i X i X j X j X i X i X i X i X i X jXiXjXiXiXjXjXiXiXiXiXiXj, Поэтому давайте напишем

Xi=λiXi, Xj=λjXj

для положительных действительных чисел и .λ jλiλj

Частичная корреляция - это нормализованное скалярное произведение остатков, которое не изменяется при масштабировании:

ρij=Xi,XjXi,XiXj,Xj=λiλjXi,Xjλi2Xi,Xiλj2Xj,Xj=Xi,XjXi,XiXj,Xj .

(В любом случае частичная корреляция будет равна нулю всякий раз, когда остатки ортогональны, независимо от того, являются ли они ненулевыми.)

Нам нужно найти внутренние произведения двойных базисных элементов. С этой целью разверните двойные базисные элементы в терминах исходного базиса :E

Xi=j=1nβijXj .

Тогда по определению

δik=Xi,Xk=j=1nβijXj,Xk=j=1nβijγjk .

В матричной записи с единичной матрицей и матрицей изменения базиса это означаетB = ( β i j )I=(δij)B=(βij)

I=BC .

То есть, , это именно то, что утверждает статья в Википедии. Предыдущая формула для частичной корреляции даетB=C1

ρij=βijβiiβjj=Cij1Cii1Cjj1 .
Whuber
источник
3
+1, отличный ответ. Но почему вы называете этот двойной базис «двойным базисом по отношению к этому внутреннему продукту» - что именно означает «по отношению к этому внутреннему продукту»? Похоже, что вы используете термин «двойной базис», как здесь определено mathworld.wolfram.com/DualVectorSpace.html во втором абзаце («При заданном базисе векторного пространства для существует двойной базис ..» . ") или здесь en.wikipedia.org/wiki/Dual_basis , и он не зависит от любого скалярного продукта. Vv1,...,vnV
амеба говорит восстановить монику
3
@amoeba Есть два вида парных. (Естественным) дуальным любого векторного пространства над полем является множество линейных функций , называемое . Не существует канонического способа отождествления с , даже если они имеют одинаковую размерность, когда конечномерно. Любому внутреннему произведению соответствует такое отображение , и наоборот , через(Невырожденность гарантирует, что является изоморфизмом векторного пространства.) Это дает возможность просматривать элементыR ϕ : V R V V V V γ g : V V g ( v ) ( w ) = γ ( v , w ) . γ g V V γVRϕ:VRVVVVγg:VV
g(v)(w)=γ(v,w).
γgVкак будто они были элементами дуального но это зависит от . Vγ
whuber
3
@mpettis Эти точки было трудно заметить. Я заменил их маленькими открытыми кружками, чтобы облегчить чтение обозначений. Спасибо за указание на это.
whuber
4
Ответы Самолета @ Энди Рона Кристенсена на сложные вопросы могут быть тем, что вы ищете. К сожалению, его подход делает (ИМХО) чрезмерное использование координатных аргументов и расчетов. В оригинальном введении (см. Стр. XIII) Кристенсен объясняет это по педагогическим причинам.
whuber
3
@whuber, ваши доказательства потрясающие. Интересно, есть ли в какой-либо книге или статье такое доказательство, чтобы я мог ссылаться?
Гарри
12

Вот доказательство с помощью только матричных вычислений.

Я ценю ответ по whuber. Это очень проницательно по математике за сценой. Однако все еще не так тривиально, как использовать его ответ для получения знака минус в формуле, указанной в википедии Partial_correlation # Using_matrix_inversion .

ρXiXjV{Xi,Xj}=pijpiipjj

Чтобы получить этот знак минус, вот другое доказательство, которое я нашел в «Графических моделях Lauriten 1995». Это просто делается с помощью некоторых матричных расчетов.

Ключом является следующая идентификационная матрица: где E = A - B D - 1 C , и .

(ABCD)1=(E1E1GFE1D1+FE1G)
E=ABD1CG = B D - 1F=D1CG=BD1

Запишите ковариационную матрицу как где - это ковариационная матрица из и является ковариационной матрицей из .

Ω=(Ω11Ω12Ω21Ω22)
Ω11(Xi,Xj)Ω22V{Xi,Xj}

Пусть . Аналогично, запишите как P=Ω1P

P=(P11P12P21P22)

По ключевой матричной идентичности

P111=Ω11Ω12Ω221Ω21

Ω11Ω12Ω221Ω21(Xi,Xj)|V{Xi,Xj}

ρXiXjV{Xi,Xj}=[P111]12[P111]11[P111]22.
(k,l)M[M]kl

([P111]11[P111]12[P111]21[P111]22)=P111=1detP11([P11]22[P11]12[P11]21[P11]11)

ρXiXjV{Xi,Xj}=[P111]12[P111]11[P111]22=1detP11[P11]121detP11[P11]221detP11[P11]11=[P11]12[P11]22[P11]11
Po C.
источник
Если мы позволим i=j, то rho_ii V\{X_i, X_i} = -1, Как мы интерпретируем эти диагональные элементы в матрице точности?
Джейсон
Хорошая точка зрения. Формула должна быть действительной только для i = / = j. Из доказательства знак минус исходит из инверсии матрицы 2 на 2. Этого не произойдет, если я = J.
По С.
Таким образом, диагональные числа не могут быть связаны с частичной корреляцией. Что они представляют? Они не просто противоположности дисперсий, не так ли?
Джейсон
Эта формула действительна для i = / = j. Это бессмысленно для i = j.
По С.
4

XiXjn1XiXjn2ϵiϵjρϵiϵjρ

Это объясняет путаницу в комментариях выше, а также в Википедии. Второе определение используется повсеместно из того, что я могу сказать, поэтому должен быть отрицательный знак.

Первоначально я опубликовал правку для другого ответа, но допустил ошибку - извините за это!

Джонни Хо
источник