В PCA, когда число измерений больше (или даже равно) количеству выборок N , почему у вас будет не более N - 1 ненулевых собственных векторов? Другими словами, ранг ковариационной матрицы среди измерений d ≥ N равен N - 1 .
Пример: ваши образцы - это векторизованные изображения размером , но у вас есть только N = 10 изображений.
pca
dimensionality-reduction
eigenvalues
GrokingPCA
источник
источник
Ответы:
Посмотрите, что делает PCA. Проще говоря, PCA (как обычно выполняется) создает новую систему координат:
(Для получения дополнительной информации см. Этот превосходный поток резюме: имеет смысл анализа главных компонентов, собственных векторов и собственных значений .) Однако, он не просто вращает ваши оси каким-либо старым способом. Ваш новый (первый основной компонент) ориентирован в направлении максимальных изменений ваших данных. Второй главный компонент ориентирован в направлении следующего наибольшего количества вариаций , которое ортогонально первому главному компоненту . Остальные основные компоненты формируются аналогичным образом.X1
источник