Являются ли решения PCA уникальными?

12

Когда я запускаю PCA для определенного набора данных, предоставляется ли мне уникальное решение?

Т.е. я получаю набор 2d координат, основанный на расстояниях между точками. Можно ли найти хотя бы еще одно расположение точек, которое бы соответствовало этим ограничениям?

Если ответ да, как я могу найти такое другое решение?

raygozag
источник
11
Ответ на вопрос об уникальности - да и нет. Это «да» в том смысле, что собственные пространства и собственные значения математически хорошо и однозначно определены. «Нет» в том смысле, что (а) существует несколько способов представления этих собственных пространств (даже нормализованный собственный вектор может быть сведен на нет, и существует много вариантов выбора для вырожденных собственных пространств) и (б) разные алгоритмы могут давать результаты, которые отличаются из-за накопления ошибки в вычислениях с плавающей запятой.
whuber
Рамсей и Сильверман в книге «Анализ функциональных данных» упоминают ротацию VARIMAX. Вы говорите о разделении набора данных функций (представленных в виде матрицы) на его основные компоненты.
мощность
Похоже, вы хотите использовать PCA в качестве инструмента для уменьшения размеров. Вы можете начать с рассмотрения уменьшения размерности ...
Элвис

Ответы:

7

Нет, ответ не уникален. Есть много способов показать это. Одна из возможностей состоит в том , что уведомления спектральное разложение квадратной по матрицы является решением к максимизации выпуклой функции . Рассмотрим первый собственный вектор / значение:р х шppXw

λ1=maxwRp:||w||=1wXw

(где - первое собственное значение, а - первый собственный вектор).λ1w

Решение таких проблем (например , значение достижения этой максимум), в общем, не является уникальным.w

Однако алгоритмы вычисления этих решений являются детерминированными, а это означает, что за исключением угловых случаев, решения, которые вы получите, должны быть одинаковыми.

Пример таких числовых угловых случаев: случаи, когда несколько собственных значений (численно) одинаковы, случаи, когда является ранг-дефицитным ...X

user603
источник
7

Что-то, что еще не было замечено, - то, что просто изменение знака ПК производит другое решение. То есть, если является м главным компонентом, то также является решением го главного компонента. Раньше это вызывало путаницу, особенно когда ваш компьютер выводит чередующиеся ПК. Смотрите этот вопрос .wnwn

Cam.Davidson.Pilon
источник
3
Для интересного практического применения этой неоднозначности, пожалуйста, см. Stats.stackexchange.com/questions/34396 . (Кстати, было замечено изменение знака : см. Первый комментарий к этому вопросу.)
whuber