Насколько я понимаю, главные компоненты получаются вращением осей координат, чтобы выровнять их по направлениям максимальной дисперсии.
Тем не менее, я продолжаю читать о «непроверенных главных компонентах», и мое программное обеспечение для статистики (SAS) дает мне не только повернутые, но и основные компоненты, повернутые с помощью варимакса. Здесь я запутался: когда мы вычисляем основные компоненты, оси уже повернуты; так зачем нужен еще один поворот? И что означает «непроверенный главный компонент»?
pca
terminology
factor-rotation
Среваши Лахири
источник
источник
Ответы:
Это будет нетехнический ответ.
Вы правы: PCA - это, по сути, поворот координатных осей, выбранный таким образом, чтобы каждая успешная ось захватила как можно больше отклонений.
В некоторых дисциплинах (таких как, например, психология) людям нравится применять PCA для интерпретации полученных осей. Т.е. они хотят иметь возможность сказать, что главная ось № 1 (которая представляет собой определенную линейную комбинацию исходных переменных) имеет какое-то конкретное значение. Чтобы угадать это значение, они будут смотреть на веса в линейной комбинации. Тем не менее, эти веса часто бывают беспорядочными, и никакого ясного смысла не видно.
В этих случаях люди иногда предпочитают немного повозиться с решением vanilla PCA. Они берут определенное количество главных осей (которые считаются «значимыми» по некоторому критерию) и дополнительно вращают их, пытаясь достичь некоторой «простой структуры», то есть линейных комбинаций, которые было бы легче интерпретировать. Существуют конкретные алгоритмы, которые ищут простейшую возможную структуру; один из них называется варимакс. После вращения варимакса последовательные компоненты больше не фиксируют столько отклонений, сколько возможно! Эта функция PCA нарушается при выполнении дополнительного вращения Varimax (или любого другого).
Таким образом, перед применением вращения Varimax у вас есть «не повернутые» главные компоненты. И после этого вы получаете «повернутые» основные компоненты. Другими словами, эта терминология относится к последующей обработке результатов PCA, а не к самой ротации PCA.
Все это несколько усложняется тем фактом, что вращаемыми являются нагрузки, а не главные оси как таковые. Тем не менее, для математических деталей я отсылаю вас (и любого заинтересованного читателя) к моему длинному ответу здесь: Является ли PCA с последующим вращением (таким как varimax) все еще PCA?
источник
what gets rotated are loadings and not principal axes as such
Я бы добавил, что это техническое понятие. Теоретически, эти два вида вращения совпадают. В PCA мы вращаемся, чтобы найти конкретный ортогональный базис (тот, у которого самый крутой участок собственных значений). В varimax мы вращаемся, чтобы найти другой конкретный ортогональный базис (с самой интерпретируемой структурой). Мы могли бы сделать любую ортогональную основу.