Почему ранг ковариационной матрицы не более

17

Как указано в этом вопросе, максимальный ранг ковариационной матрицы равен n1 где n - размер выборки, поэтому, если размер ковариационной матрицы равен размеру выборки, он будет единственным. Я не могу понять, почему мы вычитаем 1 из максимального ранга n ковариационной матрицы.

user3070752
источник
1
Чтобы получить интуицию, подумайте о n=2 балла в 3D. Какова размерность подпространства, в котором лежат эти точки? Можете ли вы разместить их на одной линии (1D подпространство)? Или вам нужна плоскость (2D подпространство)?
говорит амеба, восстанови Монику
Итак, вы понимаете, что приводит к ковариационной матрице ранга 1? Хорошо, давайте возьмем n = 3 балла. Видите ли вы, что вы всегда можете разместить их на 2D плоскости? n=2n=3
говорит амеба, восстанови Монику
4
@amoeba ваш пример был ясен, но я не могу понять, какова взаимосвязь между подгонкой гиперплоскости в вашем примере и ковариационной матрицей?
user3070752
Извините за задержку;)
user3070752

Ответы:

20

Несмещенная оценка выборочной ковариационной матрицы при заданных точках данных x iR d равна C = 1nxiRdгде ˉ х =Σхя/ппредставляет собой среднее по всем точкам. Обозначим(xi- ˉ x )какzi. 1

C=1n1i=1n(xix¯)(xix¯),
x¯=xi/n(xix¯)zi фактор не меняет ранг, и каждый член в сумме имеет (по определению) ранг1, поэтому суть вопроса заключается в следующем:1n11

Why does zizi have rank n1 and not rank n, as it would seem because we are summing n rank-1 matrices?

The answer is that it happens because zi are not independent. By construction, zi=0. So if you know n1 of zi, then the last remaining zn is completely determined; we are not summing n independent rank-1 matrices, we are summing only n1 independent rank-1 matrices and then adding one more rank-1 matrix that is fully linearly determined by the rest. This last addition does not change the overall rank.

We can see this directly if we rewrite zi=0 as

zn=i=1n1zi,
and now plug it into the above expression:
i=1nzizi=i=1n1zizi+(i=1n1zi)zn=i=1n1zi(zizn).
Now there is only n1 terms left in the sum and it becomes clear that the whole sum can have at most rank n1.

This result, by the way, hints to why the factor in the unbiased estimator of covariance is 1n1 and not 1n.

The geometric intuition that I alluded to in the comments above is that one can always fit a 1D line to any two points in 2D and one can always fit a 2D plane to any three points in 3D, i.e. the dimensionality of the subspace is always n1; this only works because we assume that this line (and plane) can be "moved around" in order to fit our points. "Positioning" this line (or plane) such that it passes through x¯ is equivalent of centering in the algebraic argument above.

amoeba says Reinstate Monica
источник
0

A bit shorter, I believe, explanation goes like this:

Let us define matrix n x m matrix x of sample data points where n is a number of variables and m is a number of samples for each variable. Let us assume that none of the variables are linearly dependent.

The rank of x is min(n,m).

Let us define matrix n x m matrix z of rowwise centered variables:

z=xE[x].

The rank of centered data becomes min(n,m1), because each data row is now subjected to constraint:

i=1mzi=0.

It basically means we can recreate the entire z matrix even if one of columns is removed.

The equation for sample covariance of x becomes:

cov(x,x)=1m1zzT

Clearly, the rank of covariance matrix is the rank(zzT).

By rank-nullity theorem: rank(zzT)=rank(z)=min(n,m1).

Mikel
источник