PCA считается линейной процедурой, однако:
где . Это означает, что собственные векторы, полученные PCA на матрицах данных , не суммируют до равных собственных векторов, полученных PCA, на сумму матриц данных . Но не является ли определение линейной функции что:X i X i f
Так почему же PCA считается «линейным», если оно не удовлетворяет этому основному условию линейности?
Ответы:
Когда мы говорим, что PCA - линейный метод, мы имеем в виду отображение, уменьшающее размерность из многомерного пространства в низкоразмерное пространствоR pе: x ↦ z рп . В PCA это отображение задается умножением x на матрицу собственных векторов PCA и поэтому является явно линейным (умножение матрицы является линейным): z =f( x )= V ⊤ x . Это отличается отнелинейных методов уменьшения размерности, где отображение, уменьшающее размерность, может быть нелинейным.рК Икс
С другой стороны, верхних собственных векторов V ∈ R p × k вычисляются из матрицы данных X ∈ R n × p с использованием того, что вы назвали P C A ( ) в вашем вопросе: V = P C A ( X ) , и это отображение, безусловно, нелинейное: оно включает вычисление собственных векторов ковариационной матрицы, что является нелинейной процедурой. (В качестве тривиального примера, умножение X на 2К V ∈ Rр × к X ∈ Rn × p P C A ()
источник
«Линейный» может означать много вещей и не используется исключительно формально.
PCA не часто определяется как функция в формальном смысле, и поэтому не ожидается, что она будет отвечать требованиям линейной функции, если она описана как таковая. Как вы сказали, это чаще описывается как процедура, а иногда и алгоритм (хотя мне не нравится этот последний вариант). Часто говорят, что это неформальный, линейный, нечеткий способ.
источник
PCA обеспечивает / является линейным преобразованием.
Для сравнения очень простой пример процесса, который использует линейное преобразование, но не является самим линейным преобразованием:
а также
но
это удвоение угла, которое включает вычисление углов, не является линейным и аналогично утверждению амебы, что вычисление собственного вектора не является линейным
источник