Почему PCA чувствителен к выбросам?

В этой SE много постов, в которых обсуждаются надежные подходы к анализу главных компонентов (PCA), но я не могу найти ни одного хорошего объяснения того, почему PCA в первую очередь чувствителен к выбросам.

machine-learning pca outliers пси
источник

Потому что вклад нормы L2 очень высок для выбросов. Затем, при минимизации нормы L2 (что пытается сделать PCA), эти точки будут подтягиваться сложнее, чем точки ближе к средней воле.

mathreadler

Этот ответ говорит вам все, что вам нужно. Просто представьте себе выброс и внимательно прочитайте.

С. Коласса - Восстановить Монику

Ответы:

Одна из причин заключается в том, что PCA можно рассматривать как разложение данных низкого ранга, которое сводит к минимуму сумму $L_2$ норм остатков разложения. Т.е. , если $Y$ представляет ваши данные ( $m$ векторы $n$ измерений), и $X$ представляет собой РСА базис ( $k$ векторы $n$ измерений), то разложение будет строго свести к минимуму

‖ Y - X A ‖_{F}^{2} = \sum_{j = 1}^{m} ‖ Y_{j} - X A_{j .} ‖^{2}

$\lVert Y-XA \rVert^2_F = \sum_{j=1}^{m} \lVert Y_j - X A_{j.} \rVert^2$ Здесь

A

$A$ - матрица коэффициентов разложения PCA, а

‖ \cdot ‖_{F}

$\lVert \cdot \rVert_F$ - норма Фробениуса матрицы.

Поскольку PCA сводит к минимуму нормы $L_2$ (т.е. квадратичные нормы), у него возникают те же проблемы, что и для метода наименьших квадратов, или для гауссовской модели, поскольку они чувствительны к выбросам. Из-за возведения в квадрат отклонений от выбросов они будут доминировать в общей норме и, следовательно, будут управлять компонентами PCA.

sega_sai
источник