Как «Фундаментальная теорема факторного анализа» применяется к PCA или как определяются нагрузки PCA?

14

В настоящее время я изучаю набор слайдов для «факторного анализа» (насколько я могу судить по PCA).

В ней выводится «фундаментальная теорема факторного анализа», которая утверждает, что корреляционная матрица данных, поступающих в анализ ( ), может быть восстановлена ​​с использованием матрицы факторных нагрузок ( ):RA

R=AA

Это, однако, смущает меня. В PCA матрица «факторных нагрузок» задается матрицей собственных векторов ковариационной / корреляционной матрицы данных (поскольку мы предполагаем, что данные были стандартизированы, они одинаковы), причем каждый собственный вектор масштабируется так, чтобы иметь длина одна. Эта матрица является ортогональной, что , который в общем случае не равны с .AA=IR

user2249626
источник
В дополнение к ответу @ amoeba, посмотрите в моем ответе адресную терминологическую неоднозначность. Я не рекомендую называть матрицу собственных векторов A(которые являются нагрузками) для ясности. Матрица собственного вектора (справа) обычно помечена V(потому что R=USV'svd), а не A. Другое эквивалентное имя (исходя из терминологии биплота) для собственных векторов - «стандартные координаты», а для нагрузок - «главные координаты».
ttnphns
(«Стандартные координаты» - потому что инерция, или масштаб собственных значений, представляет собой единичную величину при наделении их; «Главные координаты» - потому что это оригинальная полная величина при наделении их.)
ttnphns

Ответы:

17

Это разумный вопрос (+1), который вытекает из терминологической неопределенности и путаницы.

В контексте PCA люди часто называют главные оси (собственные векторы ковариационной / корреляционной матрицы) «нагрузками». Это небрежная терминология. То, что следует скорее называть «нагрузками» в PCA, являются главными осями, масштабируемыми квадратными корнями соответствующих собственных значений. Тогда теорема, на которую вы ссылаетесь, будет верна.

R=VSV
VS
A=VS1/2,
R=AA.
rr
RArAр,

Пожалуйста, смотрите мой ответ здесь для получения дополнительной информации о восстановлении ковариационных матриц с помощью факторного анализа и загрузок PCA.

амеба говорит восстановить монику
источник