Запутался в визуальном объяснении собственных векторов: как визуально разные наборы данных могут иметь одинаковые собственные векторы?

Многие учебники статистики предоставляют интуитивно понятную иллюстрацию того, каковы собственные векторы ковариационной матрицы:

Векторы u и z образуют собственные векторы (ну, собственные оси). Это имеет смысл. Но меня смущает то, что мы извлекаем собственные векторы из корреляционной матрицы, а не необработанные данные. Кроме того, исходные наборы данных, которые весьма различны, могут иметь идентичные матрицы корреляции. Например, следующие оба имеют корреляционные матрицы:

Как таковые, они имеют собственные векторы, указывающие в одном направлении:

Но если бы вы применили ту же визуальную интерпретацию того, какие направления были у собственных векторов в необработанных данных, вы бы получили векторы, указывающие в разных направлениях.

Может кто-нибудь сказать, пожалуйста, где я ошибся?

Второе редактирование : если я могу быть настолько смелым, с превосходными ответами ниже, я смог понять путаницу и проиллюстрировал ее.

1. Визуальное объяснение согласуется с тем фактом, что собственные векторы, извлеченные из ковариационной матрицы, различны.

   Ковариации и собственные векторы (красный):

   $$\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$$

   Ковариации и собственные векторы (синий):

   $$\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$$

2. Матрицы корреляции отражают ковариационные матрицы стандартизированных переменных. Визуальная проверка стандартизированных переменных демонстрирует, почему идентичные собственные векторы извлекаются в моем примере:

Вы не должны делать PCA по матрице корреляции; Вы также можете разложить ковариационную матрицу. Обратите внимание, что они обычно дают разные решения. (Подробнее об этом см .: PCA по корреляции или ковариации? )

На втором рисунке корреляции одинаковы, но группы выглядят по-разному. Они выглядят по-разному, потому что у них разные ковариации. Тем не менее, отклонения также различны (например, красная группа варьируется в более широком диапазоне X1), и корреляция представляет собой ковариацию, деленную на стандартные отклонения ( ). В результате корреляции могут быть одинаковыми. ${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$

Опять же, если вы выполните PCA с этими группами, используя ковариационные матрицы, вы получите другой результат, чем если бы вы использовали корреляционные матрицы.