Имеет ли значение знак оценок или нагрузок в PCA или FA? Могу ли я поменять знак?

Я выполнил анализ основных компонентов (PCA) с помощью R, используя две разные функции ( prcompи princomp), и заметил, что оценки PCA отличаются по знаку. Как это может быть?

Учти это:

set.seed(999)
prcomp(data.frame(1:10,rnorm(10)))$x

            PC1        PC2
 [1,] -4.508620 -0.2567655
 [2,] -3.373772 -1.1369417
 [3,] -2.679669  1.0903445
 [4,] -1.615837  0.7108631
 [5,] -0.548879  0.3093389
 [6,]  0.481756  0.1639112
 [7,]  1.656178 -0.9952875
 [8,]  2.560345 -0.2490548
 [9,]  3.508442  0.1874520
[10,]  4.520055  0.1761397

set.seed(999)
princomp(data.frame(1:10,rnorm(10)))$scores
         Comp.1     Comp.2
 [1,]  4.508620  0.2567655
 [2,]  3.373772  1.1369417
 [3,]  2.679669 -1.0903445
 [4,]  1.615837 -0.7108631
 [5,]  0.548879 -0.3093389
 [6,] -0.481756 -0.1639112
 [7,] -1.656178  0.9952875
 [8,] -2.560345  0.2490548
 [9,] -3.508442 -0.1874520
[10,] -4.520055 -0.1761397

Почему знаки ( +/-) различаются для двух анализов? Если бы я тогда использовал главные компоненты PC1и PC2как предикторы в регрессии, то есть lm(y ~ PC1 + PC2)это полностью изменило бы мое понимание влияния двух переменных в yзависимости от того, какой метод я использовал! Как я мог тогда сказать, что это PC1имеет, например, положительное влияние yи PC2, например, отрицательно y?

Кроме того: если признак компонентов PCA не имеет смысла, верно ли это и для факторного анализа (FA)? Допустимо ли переворачивать (переворачивать) знак отдельных баллов компонентов PCA / FA (или нагрузок, как столбец матрицы нагрузки)?

PCA - это простое математическое преобразование. Если вы измените знаки компонента (ов), вы не измените дисперсию, которая содержится в первом компоненте. Более того, когда вы меняете знаки, weights ( prcomp( ... )$rotation) также меняет знак, поэтому интерпретация остается неизменной:

set.seed( 999 )
a <- data.frame(1:10,rnorm(10))
pca1 <- prcomp( a )
pca2 <- princomp( a )
pca1$rotation

шоу

                 PC1       PC2
X1.10      0.9900908 0.1404287
rnorm.10. -0.1404287 0.9900908

и pca2$loadingsпоказать

Loadings:
          Comp.1 Comp.2
X1.10     -0.99  -0.14 
rnorm.10.  0.14  -0.99 

               Comp.1 Comp.2
SS loadings       1.0    1.0
Proportion Var    0.5    0.5
Cumulative Var    0.5    1.0

Итак, почему интерпретация остается прежней?

Вы выполняете регрессию PCA для yкомпонента 1. В первой версии ( prcomp), скажем, коэффициент является положительным: чем больше компонент 1, тем больше y. Что это означает, когда речь заходит об исходных переменных? Поскольку вес переменной 1 ( 1:10в a) положительный, это показывает, что чем больше переменная 1, тем больше y.

Теперь используйте вторую версию ( princomp). Поскольку у компонента изменился знак, чем больше y, тем меньше компонента 1 - коэффициент y <для PC1 теперь отрицателен. Но так же и загрузка переменной 1; это означает, что чем больше переменная 1, тем меньше компонент 1, тем больше у - интерпретация одинакова.

Возможно, самый простой способ увидеть это - использовать биплот.

library( pca3d )
pca2d( pca1, biplot= TRUE, shape= 19, col= "black"  )

шоу

Тот же биплот для второго варианта показывает

pca2d( pca2$scores, biplot= pca2$loadings[,], shape= 19, col= "black" )

Как видите, изображения повернуты на 180 °. Однако соотношение между весами / нагрузками (красные стрелки) и точками данных (черные точки) точно такое же; Таким образом, интерпретация компонентов остается неизменной.

Этот вопрос спрашивает много на этом форуме, так что я хотел бы дополнить @ отличный ответ в январе с немного более общими соображениями.

Как в анализе главных компонентов (PCA), так и в факторном анализе (FA) мы используем исходные переменные для оценки нескольких скрытых компонентов (или скрытых переменных) . Эти скрытые компоненты приведены в баллах PCA или FA. Каждая исходная переменная представляет собой линейную комбинацию этих компонентов с некоторыми весами: например, первая исходная переменная может быть хорошо аппроксимирована дважды плюс три раза , так что . Если оценки стандартизированы, то эти веса ( и ) известны как нагрузки. Итак, неофициально можно сказать, что$x_1, x_2, ... x_d$$z_1, z_2, ... z_k$$x_1$$z_1$$z_2$$x_1 \approx 2z_1 + 3z_2$$2$$3$

Отсюда мы можем видеть, что если мы возьмем один скрытый компонент, например , и перевернем знак его оценок и нагрузок, то это не окажет влияния на результат (или интерпретацию), потому что - 1 ⋅ - 1 = $z_1$

Вывод состоит в том, что для каждого компонента PCA или FA знак его оценок и нагрузок является произвольным и бессмысленным. Он может быть перевернут, но только если знак обоих баллов и нагрузок поменялся местами одновременно.

$180^\circ$