За PCA следует ротация (например, varimax), все еще PCA?

Я пытался воспроизвести некоторые исследования (с использованием PCA) из SPSS в R. По моему опыту, principal() функция из пакета psychбыла единственной функцией, которая приблизилась (или, если моя память мне не изменяет), чтобы соответствовать выводу. Чтобы соответствовать тем же результатам, что и в SPSS, мне пришлось использовать параметр principal(..., rotate = "varimax"). Я видел, как в газетах говорилось о том, как они делали PCA, но на основе результатов SPSS и использования ротации это больше похоже на факторный анализ.

Вопрос: PCA, даже после ротации (использования varimax), все еще PCA? У меня сложилось впечатление, что это может быть факторный анализ ... Если нет, то какие детали я упускаю?

Этот вопрос в основном касается определений PCA / FA, поэтому мнения могут отличаться. Мое мнение таково, что PCA + varimax не следует называть PCA или FA, но довольно явно упоминается, например, как «PCA с ротацией varimax».

Я должен добавить, что это довольно запутанная тема. В этом ответе я хочу объяснить , что поворот на самом деле является ; это потребует некоторой математики. Случайный читатель может перейти непосредственно к иллюстрации. Только тогда мы сможем обсудить, следует ли называть ротацию PCA + «PCA».

Одной из ссылок является книга Джоллиффа «Анализ основных компонентов», раздел 11.1 «Ротация основных компонентов», но я считаю, что это может быть более понятным.

---

Пусть - матрица данных которую мы считаем центрированной. PCA составляет ( см. Мой ответ здесь ) разложение по сингулярному значению: . Существует два эквивалентных, но дополняющих друг друга представления об этой декомпозиции: более «PCA-стиль» «проекция» и более FA-стиль «скрытые переменные». n × p X = U S V$\mathbf X$$n \times p$$\mathbf X=\mathbf{USV}^\top$

Согласно представлению в стиле PCA, мы нашли группу ортогональных направлений (это собственные векторы ковариационной матрицы, также называемые «главными направлениями» или «осями») и «главные компоненты» ( также называемые основным компонентом «баллы») являются проекциями данных по этим направлениям. Основные компоненты некоррелированы, первый имеет максимально возможную дисперсию и т. Д. Мы можем написать:U S X = U S ⋅ V ⊤ = Счета ⋅ Основные направления $\mathbf V$$\mathbf{US}$

$$\mathbf X = \mathbf{US}\cdot \mathbf V^\top = \text{Scores} \cdot \text{Principal directions}.$$

Согласно представлению в стиле FA, мы обнаружили некоррелированные «скрытые факторы» дисперсии единиц, которые приводят к наблюдаемым переменным через «нагрузки». Действительно, являются стандартизованными главными компонентами (некоррелированными и с единичной дисперсией), и если мы определим нагрузки как , затем (Обратите внимание, что .) Оба представления эквивалентны. Обратите внимание, что нагрузки являются собственными векторами, масштабированными по соответствующим собственным значениям ( являются собственными значениями ковариационной матрицы).L=VS/$\widetilde{\mathbf U}=\sqrt{n-1}\mathbf{U}$ X=$\mathbf L = \mathbf{VS}/\sqrt{n-1}$S ⊤=SS/

$$\mathbf X= \sqrt{n-1}\mathbf{U}\cdot (\mathbf{VS}/\sqrt{n-1})^\top =\widetilde{\mathbf U}\cdot \mathbf L^\top = \text{Standardized scores} \cdot \text{Loadings}.$$ $\mathbf{S}^\top=\mathbf{S}$$\mathbf{S}/\sqrt{n-1}$

(Я должен добавить в скобках, что PCA FA$\ne$ ; FA явно нацелена на поиск скрытых факторов, которые линейно отображаются на наблюдаемые переменные с помощью нагрузок; он более гибкий, чем PCA, и дает разные нагрузки. Именно поэтому я предпочитаю называть вышеупомянутые «Представление в стиле FA на PCA», а не FA, хотя некоторые люди считают это одним из методов FA.)

Теперь, что делает вращение? Например, ортогональное вращение, например, варимакс. Во-первых, он рассматривает только компонентов, а именно:Тогда он принимает квадрат ортогональной матрицы и вставляет в это разложение: где повернутые нагрузки определяются какX ≈ U k S k $k<p$

$$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_k \mathbf L^\top_k.$$ $k \times k$$\mathbf T$$\mathbf T\mathbf T^\top=\mathbf I$ $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf T \mathbf T^\top \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_\mathrm{rot} \mathbf L^\top_\mathrm{rot},$$ ˜ U r o t = ˜ U k T T L r o $\mathbf L_\mathrm{rot} = \mathbf L_k \mathbf T$, И вращали стандартизованные баллы даются . (Цель этого состоит в том, чтобы найти такой, чтобы стал как можно ближе к плотности, чтобы облегчить ее интерпретацию.)$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U}_k \mathbf T$$\mathbf T$$\mathbf L_\mathrm{rot}$

Обратите внимание, что вращаются: (1) стандартизированные оценки, (2) нагрузки. Но не сырые оценки и не основные направления! Таким образом, вращение происходит в скрытом пространстве, а не в исходном пространстве. Это абсолютно важно.

С точки зрения стиля FA, ничего особенного не произошло. (A) Латентные факторы все еще некоррелированы и стандартизированы. (B) Они по-прежнему отображаются на наблюдаемые переменные посредством (повернутых) нагрузок. (C) Величина дисперсии, получаемой каждым компонентом / фактором, определяется суммой квадратов значений соответствующего столбца нагрузок в . (D) Геометрически, нагрузки все еще охватывают то же самое мерное подпространство в (подпространство, охватываемое первыми собственными векторами PCA). (E) Аппроксимация к и ошибка восстановления не изменились вообще. (F) Ковариационная матрица все еще аппроксимируется одинаково хорошо: k R p k$\mathbf L_\mathrm{rot}$$k$$\mathbb R^p$$k$$\mathbf X$

$$\boldsymbol \Sigma \approx \mathbf L_k\mathbf L_k^\top = \mathbf L_\mathrm{rot}\mathbf L_\mathrm{rot}^\top.$$

Но точка зрения в стиле PCA практически рухнула. Поворотные нагрузки больше не соответствуют ортогональным направлениям / осям в , т. Е. Столбцы не являются ортогональными! Хуже того, если вы [ортогонально] проецируете данные на направления, заданные повернутыми нагрузками, вы получите коррелированные (!) Проекции и не сможете восстановить оценки. [Вместо этого, чтобы вычислить стандартизированные оценки после поворота, нужно умножить матрицу данных на псевдообратную загрузку . Кроме того, можно просто повернуть исходные стандартизированные оценки с помощью матрицы вращения:L r o t ˜ U r o t = X ( L + r o t ) ⊤ ˜ U r o t = ˜ U T k$\mathbb R^p$$\mathbf L_\mathrm{rot}$$\widetilde{\mathbf U}_\mathrm{rot} = \mathbf X (\mathbf L_\mathrm{rot}^+)^\top$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U} \mathbf T$ ] Кроме того, повернутые компоненты последовательно не фиксируют максимальное количество отклонений: дисперсия перераспределяется между компонентами (даже хотя все повернутых компонентов отражают столько же дисперсии, сколько все исходных главных компонентов).$k$$k$

Вот иллюстрация. Данные представляют собой двухмерный эллипс, вытянутый вдоль главной диагонали. Первое главное направление - главная диагональ, второе ортогонально ей. Векторы нагрузки PCA (собственные векторы, масштабированные по собственным значениям) показаны красным, указывая в обоих направлениях, а также растянуты на постоянный коэффициент для видимости. Затем я применил ортогональное вращение на к нагрузкам. Результирующие векторы нагрузки показаны пурпурным цветом. Обратите внимание, что они не ортогональны (!).$30^\circ$

Интуиция в стиле FA здесь выглядит следующим образом: представьте себе «скрытое пространство», в котором точки заполняют небольшой круг (происходят из двумерного гауссиана с единичными отклонениями). Это распределение точек затем растягивается вдоль нагрузок PCA (красный), чтобы стать эллипсом данных, который мы видим на этом рисунке. Однако такое же распределение точек можно вращать и затем растягивать вдоль повернутых нагрузок PCA (пурпурный), чтобы получить тот же эллипс данных .

[Чтобы действительно увидеть, что ортогональное вращение нагрузок - это вращение , нужно взглянуть на биплот PCA; там векторы / лучи, соответствующие исходным переменным, будут просто вращаться.]

---

Давайте подведем итоги. После ортогонального вращения (такого как варимакс) оси с "вращаемыми главными" не являются ортогональными, и ортогональные проекции на них не имеют смысла. Так что лучше отбросить всю эту точку зрения осей / проекций. Было бы странно все еще называть это PCA (что касается проекций с максимальной дисперсией и т. Д.).

С точки зрения стиля FA, мы просто повернули наши (стандартизированные и некоррелированные) скрытые факторы, что является действительной операцией. В ФА нет «проекций»; вместо этого скрытые факторы генерируют наблюдаемые переменные посредством нагрузок. Эта логика все еще сохраняется. Однако мы начали с основных компонентов, которые на самом деле не являются факторами (так как PCA - это не то же самое, что FA). Так что было бы странно называть это также FA.

Вместо того, чтобы обсуждать, нужно ли «называть» это, скорее, PCA или FA, я бы посоветовал тщательно определить точную используемую процедуру: «PCA, сопровождаемый поворотом варимакса».

---

Пост скриптум. Это является возможным рассмотреть альтернативную процедуру вращения, где вставляется между и . Это будет вращать необработанные оценки и собственные векторы (вместо стандартизированных оценок и нагрузок). Самая большая проблема с этим подходом состоит в том, что после такой «ротации» результаты больше не будут некоррелированными, что является довольно фатальным для PCA. Это можно сделать, но это не так, как обычно понимают и применяют вращения.U S V$\mathbf{TT}^\top$$\mathbf{US}$$\mathbf V^\top$

Анализ основных компонентов (PCA) и анализ общего фактора (CFA) являются различными методами. Часто они дают схожие результаты, и PCA используется в качестве метода извлечения по умолчанию в процедурах SPSS Factor Analysis. Это, несомненно, приводит к большой путанице по поводу различия между ними.

Суть в том, что это две разные модели, концептуально. В PCA компоненты представляют собой реальные ортогональные линейные комбинации, которые максимизируют общую дисперсию. В FA факторы представляют собой линейные комбинации, которые максимизируют общую часть дисперсии - лежащие в основе «скрытые конструкции». Вот почему ФА часто называют «анализом общего фактора». FA использует различные процедуры оптимизации, и результат, в отличие от PCA, зависит от используемой процедуры оптимизации и исходных точек для этих процедур. Просто нет единственного уникального решения.

В R функция factanal () предоставляет CFA максимальное извлечение правдоподобия. Таким образом, вы не должны ожидать, что он воспроизведет результат SPSS, основанный на извлечении PCA. Это просто не та же модель или логика. Я не уверен, что вы получите тот же результат, если вы используете извлечение максимального правдоподобия SPSS, так как они могут не использовать тот же алгоритм.

К лучшему или худшему в R, вы можете, однако, воспроизвести смешанный «факторный анализ», который SPSS предоставляет по умолчанию. Вот процесс в R. С помощью этого кода я могу воспроизвести результат «Факторного анализа» основного компонента SPSS, используя этот набор данных. (За исключением знака, который является неопределенным). Этот результат также может быть повернут с использованием любого из доступных методов вращения Rs.

# Load the base dataset attitude to work with.
data(attitude)
# Compute eigenvalues and eigen vectors of the correlation matrix.
pfa.eigen<-eigen(cor(attitude))
# Print and note that eigen values are those produced by SPSS.
# Also note that SPSS will extract 2 components as eigen values > 1 = 2
pfa.eigen$values
# set a value for the number of factors (for clarity)
factors<-2
# Extract and transform two components.
pfa.eigen$vectors [ , 1:factors ]  %*% 
+ diag ( sqrt (pfa.eigen$values [ 1:factors ] ),factors,factors )

Этот ответ состоит в том, чтобы представить в форме диаграммы пути то, о чем @amoeba рассуждает в своем глубоком (но немного сложном) ответе в этой теме (я с этим согласен на 95%) и как они мне кажутся ,

PCA в его правильной, минимальной форме представляет собой специфическое ортогональное вращение коррелированных данных в некоррелированную форму, причем главные компоненты последовательно смещают все меньше и меньше общей изменчивости. Если уменьшение размерности - это все, что мы хотим, мы обычно не вычисляем нагрузки и то, что они тянут за ними. Мы довольны (сырье) основных показателей компонентов . [Обратите внимание, что обозначения на диаграмме точно не соответствуют @ amoeba, - я придерживаюсь того, что я принимаю в некоторых других моих ответах.]$\bf P$

На диаграмме я беру простой пример двух переменных p=2и использую обе выделенные главные компоненты. Хотя мы обычно оставляем лишь несколько первых m<pкомпонентов, для теоретического вопроса, который мы рассматриваем («Является ли PCA с ротацией PCA или что?»), Не имеет значения, сохранить mили все pиз них; по крайней мере, в моем конкретном ответе.

Хитрость загрузок заключается в том, чтобы вытащить шкалу (величину, изменчивость, инерцию ) из компонентов (необработанные оценки) и на коэффициенты (собственные векторы), оставив первые в виде «каркаса» (стандартизированный pr .компонентные оценки), а последний должен быть мясистым (нагрузки). Вы восстанавливаете данные одинаково хорошо с обоими: . Но нагрузки открывают перспективы: (i) интерпретировать компоненты; (ii) вращаться; (iii) восстановить корреляции / ковариации переменных. Это все из-за того, что изменчивость данных была записана в загрузках, как и их загрузка.V P z A X = P V ′ = P z A $\bf L$$\bf V$$\bf P_z$$\bf A$$\bf X=PV'=P_zA'$

И они могут вернуть эту нагрузку обратно в точки данных в любое время - сейчас или после ротации . Если мы представляем себе ортогональное вращение, такое как варимакс, это означает, что мы хотим, чтобы компоненты оставались некоррелированными после вращения. Только данные со сферической ковариационной матрицей, повернутые ортогонально, сохраняют некоррелированность. И вуаля, стандартизированные главные компоненты (которые в машинном обучении часто называют «белыми данными PCA») - это магические данные ( на самом деле пропорциональны левому, то есть собственным векторам строк данных). Пока мы находимся в матрице вращения варимаксаP $\bf P_z$$\bf P_z$$\bf Q$чтобы облегчить интерпретацию нагрузок, точки данных пассивно ожидают своей целомудренной сферичности и идентичности (или «белизны»).

После того, как найден, поворот на него эквивалентен обычному способу вычисления стандартизированных оценок главных компонентов через обобщенную обратную матрицу нагрузки, - на этот раз повернутых нагрузок, (см. Диаграмму ). Результирующие главные компоненты, , не коррелированы, как мы и хотели, плюс данные восстанавливаются ими так же хорошо, как и до вращения: . Затем мы можем их вернуть их масштаб осажденный (и , соответственно , повернутый) в - к unstandardize их: .P z A r C z X = P z A ′ = C z A ′ r A r$\bf Q$$\bf P_z$$\bf A_r$$\bf C_z$$\bf X=P_zA'=C_zA_r'$$\bf A_r$$\bf C$

Нам следует помнить, что «вращающиеся от варимакса главные компоненты» больше не являются главными компонентами: я использовал обозначения Cz, C вместо Pz, P, чтобы подчеркнуть это. Они просто "компоненты". Основные компоненты уникальны, но компонентов может быть много. Кроме Varimax Повороты даст другие новые переменные также называемые компоненты , а также некоррелированных, кроме наших тех.$\bf C$

Кроме того, изменяемые по оси Вермакса (или иным образом ортогонально вращающиеся) главные компоненты (теперь просто «компоненты»), хотя и остаются некоррелированными, ортогональными, не подразумевают, что их нагрузки также все еще ортогональны. Столбцы взаимно ортогональны (как и собственные векторы ), но не являются столбцами (см. Также сноску здесь ).V A $\bf A$$\bf V$$\bf A_r$

И наконец - вращение необработанных главных компонентов с нашим не является полезным действием. Мы получим некоторые коррелированные переменные с проблемным значением. появилось так, чтобы оптимизировать (каким-то особым образом) конфигурацию нагрузок, которые впитали в них всю шкалу . никогда не обучался вращать точки данных со всей оставшейся шкалой. Вращение с будет эквивалентно вращению собственных векторов с (в$\bf P$$\bf Q$Q Q P Q V Q V r " C " = X V $\bf "C"$$\bf Q$$\bf Q$$\bf P$$\bf Q$ $\bf V$$\bf Q$$\bf V_r$) и затем вычисление необработанных оценок компонентов как . Эти "пути" отмечены @amoeba в их PostScriptum.$\bf "C"=XV_r$

Эти последние действия (по большей части бессмысленные) напоминают нам о том, что собственные векторы, а не только нагрузки, можно вращать в целом. Например, к ним можно применить процедуру varimax, чтобы упростить их структуру. Но поскольку собственные векторы не так полезны для интерпретации значения компонентов, как нагрузки, вращение собственных векторов выполняется редко.

Таким образом, PCA с последующим вращением varimax (или другой)

• еще спс
• которые на пути отказались от основных компонентов для всего лишь компонентов
• которые потенциально более (чем ПК) интерпретируются как «скрытые черты»
• но не были сатистически смоделированы как таковые (PCA - это не объективный факторный анализ)

Я не ссылался на факторный анализ в этом ответе. Мне кажется, что использование @ amoeba слова «скрытое пространство» немного рискованно в контексте задаваемого вопроса. Однако я согласен с тем, что аналитическое вращение PCA + можно назвать «представлением в стиле FA на PCA».

В psych::principal()вы можете делать различные типы поворотов / преобразований в ваш извлеченный основной компонент (ов) или «» ПКА «» , используя rotate=аргумент, как: "none", "varimax"( по умолчанию), "quatimax", "promax", "oblimin", "simplimax", и "cluster". Вы должны эмпирически решить, какой из них должен иметь смысл в вашем случае, если это необходимо, в зависимости от вашей собственной оценки и знания предмета исследования. Ключевой вопрос, который может дать вам подсказку: какой из них более понятен (опять же, если необходимо)?

В справке вы также можете найти следующее:

Важно признать, что повернутые главные компоненты не являются главными компонентами (осями, связанными с разложением собственного значения), а являются просто компонентами. Чтобы указать на это, не повернутые главные компоненты помечены как PCi, в то время как повернутые ПК теперь помечены как RCi (для повернутых компонентов), а наклонно преобразованные компоненты - как TCi (для преобразованных компонентов). (Спасибо Ульрике Громпинг за это предложение.)

Насколько я понимаю, различие между PCA и Факторным анализом в первую очередь заключается в том, есть ли ошибка. Таким образом, PCA может и будет достоверно представлять данные, в то время как факторный анализ менее точен в отношении данных, на которых он обучен, но пытается представить основные тенденции или общность данных. При стандартном подходе PCA не вращается, но математически это возможно, поэтому люди делают это время от времени. Я согласен с комментаторами в том, что «смысл» этих методов несколько понятен, и, вероятно, разумно быть уверенным, что используемая вами функция выполняет то, что вы намерены - например, как вы заметили, R имеет некоторые функции, которые выполняют PCA другого типа, чем пользователи SPSS, знакомые с.

Благодаря хаосу в определениях обоих они фактически являются синонимами. Не верьте словам и загляните в доки, чтобы найти уравнения.

Хотя на этот вопрос уже принят ответ, я хотел бы добавить кое-что к сути вопроса.

«PCA» - если я правильно помню - означает «анализ основных компонентов»; так что, пока вы анализируете главные компоненты, будь то без вращения или с вращением, мы все еще находимся в анализе «главных компонентов» (которые были найдены с помощью соответствующей исходной матричной декомпозиции).

Я бы сформулировал это после «varimax» -вращения на первых двух основных компонентах, что у нас есть «varimax-решение двух первых ПК» (или что-то еще), но все еще в рамках анализа главных компонентов, или короче, находятся в рамках "pca".

Чтобы сделать мою точку зрения еще яснее: я не чувствую, что простой вопрос ротации ставит проблему различия между ОДВ и КФА (последнее упомянуто / введено в проблему, например, в ответе Бретта)

Я нашел это наиболее полезным: Abdi & Williams, 2010, Анализ основных компонентов .

ПОВОРОТ

После того как количество компонентов определено и для облегчения интерпретации, анализ часто включает в себя чередование оставленных компонентов [см., Например, ссылки 40 и 67, для получения более подробной информации]. Используются два основных типа вращения: ортогональные, когда новые оси также ортогональны друг другу, и наклонные, когда новые оси не обязательно должны быть ортогональными. Поскольку повороты всегда выполняются в подпространстве, новые оси всегда будут объяснять меньшую инерцию, чем исходные компоненты (которые рассчитываются так, чтобы быть оптимальными). Однако часть инерции, объясняемая общим подпространством после вращения, такая же, как и до вращения (изменилось только разделение инерции). Также важно отметить, что, поскольку вращение всегда происходит в подпространстве (т.е. пространство сохраняемых компонентов), выбор этого подпространства сильно влияет на результат вращения. Поэтому настоятельно рекомендуется попробовать несколько размеров для подпространства удерживаемых компонентов, чтобы оценить надежность интерпретации вращения. При выполнении поворота термин нагрузки почти всегда относится к элементам матрицы Q.

(см. статью для определения Q).