Что такое «повернутые» и «не повернутые» главные компоненты, учитывая, что PCA всегда вращает оси координат?

13

Насколько я понимаю, главные компоненты получаются вращением осей координат, чтобы выровнять их по направлениям максимальной дисперсии.

Тем не менее, я продолжаю читать о «непроверенных главных компонентах», и мое программное обеспечение для статистики (SAS) дает мне не только повернутые, но и основные компоненты, повернутые с помощью варимакса. Здесь я запутался: когда мы вычисляем основные компоненты, оси уже повернуты; так зачем нужен еще один поворот? И что означает «непроверенный главный компонент»?

Среваши Лахири
источник
1
Вопросы исключительно о том, как работает программное обеспечение, здесь не по теме, но у вас может быть настоящий статистический вопрос, похороненный здесь. Вы можете отредактировать свой вопрос, чтобы прояснить основную статистическую проблему. Вы можете обнаружить, что, когда вы понимаете соответствующие статистические концепции, элементы программного обеспечения самоочевидны или, по крайней мере, их легко получить из документации.
gung - Восстановить Монику
1
@ Gung - Мой вопрос не о программном обеспечении. Может быть, я ошибся. Все, что я хотел знать, это то, что, согласно моему пониманию, мы получаем главные компоненты только тогда, когда мы вращаем оси в линии максимальной дисперсии. Тогда, что такое необращенный основной компонент, термин, который я нашел на разных страницах, объясняющих о PCA. Пожалуйста, дайте мне знать, если мой вопрос все еще неоднозначен.
Среваши Лахири
Это , безусловно , выглядит , как будто это о SAS. Если это не так, я бы отредактировал ваш вопрос, чтобы удалить ссылки на SAS и повторил ваш вопрос в программно-нейтральных терминах. Вам также может быть интересно прочитать эту ветку .
gung - Восстановить Монику
Я упомянул SAS, потому что проводил анализ в этом программном обеспечении. Даже если вы пренебрегаете словом, вы можете просто дать мне объяснение моей отредактированной версии вопроса. Также я прошел через нить. Пожалуйста, поправьте меня, если я ошибаюсь. Когда мы вычисляем основные компоненты, это означает, что оси уже повернуты. Таким образом, другое обозначение varimax не требуется. Это так? Я действительно запутался в этой части. Большое спасибо заранее
Srewashi Lahiri
2
Srewashi, я позволил себе существенно переписать ваш вопрос на основе ваших разъяснений в комментариях. Я думаю, что это хороший вопрос, +1. Пожалуйста, проверьте, что мои правки отражают ваши намерения! Вы всегда можете редактировать больше. Cc to @gung.
амеба говорит восстановить монику

Ответы:

15

Это будет нетехнический ответ.

Вы правы: PCA - это, по сути, поворот координатных осей, выбранный таким образом, чтобы каждая успешная ось захватила как можно больше отклонений.

В некоторых дисциплинах (таких как, например, психология) людям нравится применять PCA для интерпретации полученных осей. Т.е. они хотят иметь возможность сказать, что главная ось № 1 (которая представляет собой определенную линейную комбинацию исходных переменных) имеет какое-то конкретное значение. Чтобы угадать это значение, они будут смотреть на веса в линейной комбинации. Тем не менее, эти веса часто бывают беспорядочными, и никакого ясного смысла не видно.

В этих случаях люди иногда предпочитают немного повозиться с решением vanilla PCA. Они берут определенное количество главных осей (которые считаются «значимыми» по некоторому критерию) и дополнительно вращают их, пытаясь достичь некоторой «простой структуры», то есть линейных комбинаций, которые было бы легче интерпретировать. Существуют конкретные алгоритмы, которые ищут простейшую возможную структуру; один из них называется варимакс. После вращения варимакса последовательные компоненты больше не фиксируют столько отклонений, сколько возможно! Эта функция PCA нарушается при выполнении дополнительного вращения Varimax (или любого другого).

Таким образом, перед применением вращения Varimax у вас есть «не повернутые» главные компоненты. И после этого вы получаете «повернутые» основные компоненты. Другими словами, эта терминология относится к последующей обработке результатов PCA, а не к самой ротации PCA.


Все это несколько усложняется тем фактом, что вращаемыми являются нагрузки, а не главные оси как таковые. Тем не менее, для математических деталей я отсылаю вас (и любого заинтересованного читателя) к моему длинному ответу здесь: Является ли PCA с последующим вращением (таким как varimax) все еще PCA?

амеба говорит восстановить монику
источник
Я еще не нашел лучшего и более ясного объяснения. Я также прошел по другой ссылке, которую вы предоставили, но мне еще предстоит полностью ее расшифровать. Если я правильно понял, то неповращенные главные компоненты уже ортогональны и некоррелированы. Здесь у меня есть небольшая путаница - поскольку ПК соответствуют последовательной максимальной дисперсии, тогда необходимо, чтобы после того, как первый ПК был найден, вторая линия максимальной дисперсии (второй ПК) будет на 90 градусов (ортогональной) к первой и т. Д. ?
Среваши Лахири
Правильно: «не повернутые» главные компоненты некоррелированы, а «не повернутые» главные оси ортогональны. И да, необходимо, чтобы последовательные главные оси были ортогональны, а главные компоненты не коррелировали с предыдущими (это можно доказать математически). Кстати, если вы думаете, что этот (или любой другой) ответ решит проблему для вас, вы можете «принять» его, нажав на зеленую галочку слева. Как только вы достигнете 15 репутации, вы также сможете проголосовать за полезные ответы (я думаю, что в настоящее время вы не можете голосовать за любые ответы).
амеба говорит восстановить монику
+1. what gets rotated are loadings and not principal axes as suchЯ бы добавил, что это техническое понятие. Теоретически, эти два вида вращения совпадают. В PCA мы вращаемся, чтобы найти конкретный ортогональный базис (тот, у которого самый крутой участок собственных значений). В varimax мы вращаемся, чтобы найти другой конкретный ортогональный базис (с самой интерпретируемой структурой). Мы могли бы сделать любую ортогональную основу.
ttnphns
Если возможно, можете ли вы объяснить это в терминах непрофессионала, что означают необращенные ПК?
sai_636
@ sai_636 С условиями обывателя можно ознакомиться на stats.stackexchange.com/questions/2691 .
говорит амеба: восстанови Монику