Почему оценки основных компонентов некоррелированы?

Supose - это матрица среднецентрированных данных. Матрица равна , имеет различных собственных значений и собственные векторы , ... , которые являются ортогональными. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

-м главный компонент (некоторые люди называют их «десятки») является вектор . Другими словами, это линейная комбинация столбцов , где коэффициенты являются составными частями -м собственным вектором . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Я не понимаю, почему и оказываются некоррелированными для всех . Следует ли это из того факта, что и ортогональны? Конечно, нет, потому что я легко могу найти матрицу и пару ортогональных векторов таких что и коррелированы. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra Эрнест А
источник

Соответствующий ответ stats.stackexchange.com/a/110546/3277 .

ttnphns

Ответы:

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

амеба
источник

Математика: какой красивый язык.

Нестор

Это означает, что и ортогональны. Некоррелированный означает, что это должно быть правдой: . Я полагаю, что , а затем также подразумевает, что они некоррелированы.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

Эрнест А

Хороший вопрос, @Ernest. Средние значения действительно равны нулю, потому что данные были средне-центрированы (по вашему предположению). Тогда все проекции должны иметь среднее значение ноль.

амеба

@Jubbles потому что

, поэтому

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

Эрнест А

@Ernest, я не мог удержаться от предоставления ответа, не содержащего текст, но, возможно, я должен добавить, что основная причина, по которой ПК не коррелированы, заключается в том, что их ковариационная матрица задается

в базисе собственных векторов, и в этом базисе

становится диагональным - - вот и весь смысл собственного разложения.

S

$S$

S

$S$

амеба