Что именно называется «основным компонентом» в PCA?

18

Предположим есть вектор , который максимизирует дисперсию проекции данных с конструкцией матрицы .uX

Теперь я видел материалы , которые относятся в качестве (первого) основного компонента данных, который также является собственным вектором с наибольшим собственным значением.u

Однако я также видел, что основным компонентом данных является .Xu

Очевидно, и разные вещи. Может ли кто-нибудь помочь мне здесь и сказать мне, в чем разница между этими двумя определениями основных компонентов?uXu

mynameisJEFF
источник
Собственный вектор u - это направление оси (значения u - это направляющие косинусы относительно исходных осей). Xu - это сами данные, значения основного компонента, координаты на вышеупомянутой оси).
ttnphns

Ответы:

25

Вы абсолютно правы, наблюдая, что хотя (один из собственных векторов ковариационной матрицы, например, первый) и X u (проекция данных на 1-мерное подпространство, натянутое на uuXuu ) - это две разные вещи, оба из их часто называют «основным компонентом», иногда даже в одном и том же тексте.

В большинстве случаев из контекста ясно, что именно имеется в виду. В некоторых редких случаях, однако, это действительно может быть довольно запутанным, например , когда некоторые связанные с ними методы (такие как разреженный PCA или ОСО) обсуждаются, где разные направления ui не должны быть ортогональны. В этом случае утверждение типа «компоненты ортогональны» имеет очень разные значения в зависимости от того, относится ли оно к осям или проекциям.

Я бы выступать называя «Принципал ось» или «основным направлением», а X уuXu А «основной компонент».

Я также видел u называете «главный компонент вектора».

Я должен упомянуть, что альтернативное соглашение состоит в том, чтобы называть «основным компонентом», а X u «оценками основного компонента».uXu

Краткое изложение двух конвенций:

Convention 1Convention 2u{principal axisprincipal directionprincipal component vectorprincipal componentXuprincipal componentprincipal component scores

Примечание: только собственные векторы ковариационной матрицы, соответствующие ненулевым собственным значениям, могут называться главными направлениями / компонентами. Если ковариационная матрица имеет низкий ранг, она будет иметь одно или несколько нулевых собственных значений; соответствующие собственные векторы (и соответствующие проекции с постоянным нулем) не следует называть главными направлениями / компонентами. Смотрите обсуждение в моем ответе здесь.

амеба говорит восстановить монику
источник
1
Конвенция 2 должна быть вне закона. Он способен создавать путаницу для новичков, так как объединяет базисные векторы и компоненты векторов данных по отношению к базису.
предположения
как насчет определения нагрузок? Являются ли нагрузки индивидуальными значениями собственного вектора u?
Макис
@sera См. stats.stackexchange.com/questions/143905 и stats.stackexchange.com/questions/125684
амеба говорит «Восстановить Монику
@amoeba спасибо! И последний вопрос. В SVD, если X = USVh (Vh: V транспонирован), если собственные векторы являются столбцами U, то могу ли я назвать Vh нагрузкой?
Макис
@ sera Нет. См. stats.stackexchange.com/questions/134282
амеба говорит восстановить Монику