Аналогия корреляции Пирсона для 3 переменных

Меня интересует, является ли "корреляция" трех переменных чем-то, и если что, что бы это было?

Коэффициент корреляции моментов произведения Пирсона

Теперь вопрос для 3 переменных:

что-нибудь?

В R это выглядит как нечто интерпретируемое:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Мы обычно смотрим на корреляцию между 2 переменными при фиксированном значении третьей переменной. Может кто-нибудь уточнить?

Это является действительно что - то. Чтобы выяснить это, нам нужно изучить то, что мы знаем о самой корреляции.

1. Корреляционная матрица векторнозначной случайной величины являются ковариационной матрицей, или просто «дисперсии» стандартизированной версии X . Таким образом, каждый X i заменяется своей измененной версией, измененной в масштабе.$\mathbf{X}=(X_1,X_2,\ldots,X_p)$$\mathbf{X}$$X_i$

2. Ковариация и X j является ожиданием произведения их центрированных версий. То есть, записывая X ′ i = X i - E [ X i ] и X ′ j = X j - E [ X j ] , мы имеем$X_i$$X_j$$X^\prime_i = X_i - E[X_i]$$X^\prime_j = X_j - E[X_j]$

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. Дисперсия , которую я напишу Var ( X ) , не является одним числом. Это массив значений Var ( X ) i j = Cov ( X i , X j ) $\mathbf{X}$$\operatorname{Var}(\mathbf{X})$

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. Способ думать о ковариации для намеченного обобщения состоит в том, чтобы считать это тензор . Это означает, что это целый набор величин , проиндексированных i и j в диапазоне от 1 до p , значения которых изменяются особенно простым предсказуемым образом, когда X подвергается линейному преобразованию. В частности, пусть Y = ( Y 1 , Y 2 , … , Y q ) будет другой векторной случайной величиной, определенной как$v_{ij}$$i$$j$$1$$p$$\mathbf{X}$$\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   Константы (iиj-индексы-jне является степенью) образуютмассивq×pA=($a_i^{\,j}$$i$$j$$j$$q\times p$,j=1,…,pиi=1,…,q. Линейность ожидания подразумевает$\mathbb{A} = (a_i^{\,j})$$j=1,\ldots, p$$i=1,\ldots, q$

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   В матричной записи

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. Все компоненты самом деле являются одномерными дисперсиями из-за поляризационной идентичности$\operatorname{Var}(\mathbf{X})$

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   Это говорит нам о том, что если вы понимаете дисперсии одномерных случайных величин, вы уже понимаете ковариации двумерных переменных: они являются «просто» линейными комбинациями дисперсий.

Выражение в вопросе совершенно аналогично: переменные были стандартизированы, как в ( 1 ) . Мы можем понять, что это представляет, рассматривая, что это означает для любой переменной, стандартизированной или нет. Мы заменили бы каждый X i его центрированной версией, как в ( 2 ) , и сформировали бы величины, имеющие три индекса,$X_i$$(1)$$X_i$$(2)$

Это центральные (многомерные) моменты степени $3$ . Как и в , они образуют тензор: когда Y = A X , то$(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

Индексы в этой тройной сумме варьируются по всем комбинациям целых чисел от до p .$1$$p$

Аналог поляризационной идентичности

С правой стороны, относится к (одномерному) центральному третьему моменту: ожидаемое значение куба центрированной переменной. Когда переменные стандартизированы, этот момент обычно называют асимметричным . Соответственно, мы можем думать о ц 3 ( X ) как являющийся многомерный перекос из X . Это тензор ранга три (то есть с тремя индексами), значения которого являются линейными комбинациями асимметрии различных сумм и разностей X i . Если бы мы должны были искать интерпретации, то мы думаем об этих компонентах в качестве средств измерения в $\mu_3$$\mu_3(\mathbf{X})$$\mathbf{X}$$X_i$$p$Размеры независимо от того, измеряется асимметрия в одном измерении. Во многих случаях,

• Первые моменты измеряют местоположение распределения;

• Вторые моменты (матрица дисперсии-ковариации) измеряют ее разброс ;

• Стандартизированные вторые моменты (корреляции) показывают, как разброс изменяется в мерном пространстве; и$p$

• Стандартизированные третий и четвертый моменты взяты, чтобы измерить форму распределения относительно его распространения.

$\mu_3$

Ссылка

Алан Стюарт и Дж. Кит Орд, Продвинутая теория статистики Кендалла, пятое издание, том 1: теория распределения ; Глава 3, Моменты и кумулянты . Издательство Оксфордского университета (1987).

Appendix: Proof of the Polarization Identity

Let $x_1,\ldots, x_n$ be algebraic variables. There are $2^n$ ways to add and subtract all $n$ of them. When we raise each of these sums-and-differences to the $n^\text{th}$ power, pick a suitable sign for each of those results, and add them up, we will get a multiple of $x_1x_2\cdots x_n$.

More formally, let $S=\{1,-1\}^n$ be the set of all $n$-tuples of $\pm 1$, so that any element $s\in S$ is a vector $s=(s_1,s_2,\ldots,s_n)$ whose coefficients are all $\pm 1$. The claim is

Indeed, the Multinomial Theorem states that the coefficient of the monomial $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ (where the $i_j$ are nonnegative integers summing to $n$) in the expansion of any term on the right hand side is

In the sum $(1)$, the coefficients involving $x_1^{i_1}$ appear in pairs where one of each pair involves the case $s_1=1$, with coefficient proportional to $\color{red}{s_1}$ times $s_1^{i_1}$, equal to $1$, and the other of each pair involves the case $s_1=-1$, with coefficient proportional to $\color{red}{-1}$ times $(-1)^{i_1}$, equal to $(-1)^{i_1+1}$. They cancel in the sum whenever $i_1+1$ is odd. The same argument applies to $i_2, \ldots, i_n$. Consequently, the only monomials that occur with nonzero coefficients must have odd powers of all the $x_i$. The only such monomial is $x_1x_2\cdots x_n$. It appears with coefficient $\binom{n}{1,1,\ldots,1}=n!$ in all $2^n$ terms of the sum. Consequently its coefficient is $2^nn!$, QED.

We need take only half of each pair associated with $x_1$: that is, we can restrict the right hand side of $(1)$ to the terms with $s_1=1$ and halve the coefficient on the left hand side to $2^{n-1}n!$ . That gives precisely the two versions of the Polarization Identity quoted in this answer for the cases $n=2$ and $n=3$: $2^{2-1}2! = 4$ and $2^{3-1}3!=24$.

Of course the Polarization Identity for algebraic variables immediately implies it for random variables: let each $x_i$ be a random variable $X_i$. Take expectations of both sides. The result follows by linearity of expectation.

Hmmm. If we run...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

it does seem to center on 0 (I haven't done a real simulation), but as @ttnphns alludes, running this (all variables the same)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

also seems to center on 0, which certainly makes me wonder what use this could be.

If You need to calculate "correlation" between three or more variables, you could not use Pearson, as in this case it will be different for different order of variables have a look here. If you are interesting in linear dependency, or how well they are fitted by 3D line, you may use PCA, obtain explained variance for first PC, permute your data and find probability, that this value may be to to random reasons. I've discuss something similar here (see Technical details below).

Matlab code

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)