Геометрическое понимание СПС в предметном (двойственном) пространстве

Я пытаюсь получить интуитивное понимание того, как анализ главных компонентов (PCA) работает в предметном (двойном) пространстве .

Рассмотрим двумерный набор данных с двумя переменными, $x_1$ и $x_2$ , и $n$ точками данных (матрица данных $\mathbf X$ имеет $n\times 2$ и предполагается, что она центрирована). Обычное представление PCA состоит в том, что мы рассматриваем $n$ точек в $\mathbb R^2$ , записываем ковариационную матрицу $2\times 2$ и находим ее собственные векторы и собственные значения; первый ПК соответствует направлению максимальной дисперсии и т. д. Вот пример с ковариационной матрицей $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$, Красные линии показывают собственные векторы, масштабированные квадратными корнями соответствующих собственных значений.

$\hskip 1in$

Теперь рассмотрим, что происходит в предметном пространстве (я узнал этот термин из @ttnphns), также известном как двойное пространство (термин, используемый в машинном обучении). Это мерное пространство, где выборки наших двух переменных (два столбца из X ) образуют два вектора x 1 и x 2 . Квадратная длина каждого переменного вектора равна его дисперсии, косинус угла между двумя векторами равен корреляции между ними. Это представление, кстати, очень стандартно при лечении множественной регрессии. В моем примере предметное пространство выглядит так (я показываю только 2D-плоскость, натянутую на два переменных вектора):$n$$\mathbf X$$\mathbf x_1$$\mathbf x_2$

$\hskip 1in$

Главные компоненты, являющиеся линейными комбинациями двух переменных, образуют два вектора и p 2 в одной плоскости. Мой вопрос: каково геометрическое понимание / интуиция того, как формировать векторы переменных главных компонент, используя оригинальные векторы переменных на таком графике? Учитывая x 1 и x 2 , какая геометрическая процедура даст p 1 ?$\mathbf p_1$$\mathbf p_2$$\mathbf x_1$$\mathbf x_2$$\mathbf p_1$

---

Ниже мое текущее частичное понимание этого.

Прежде всего, я могу вычислить основные компоненты / оси с помощью стандартного метода и построить их на том же рисунке:

$\hskip 1in$

Кроме того, мы можем отметить, что выбрано таким, что сумма квадратов расстояний между x i (голубыми векторами) и их проекциями на p 1 минимальна; эти расстояния являются ошибками реконструкции и показаны черными пунктирными линиями. Эквивалентно, p 1 максимизирует сумму квадратов длин обеих проекций. Это полностью определяет p 1 и, конечно, полностью аналогично аналогичному описанию в основном пространстве (см. Анимацию в моем ответе «Осмысление анализа главных компонент, собственных векторов и собственных значений»). Смотрите также первую частьответа @ ttnphns'es здесь.$\mathbf p_1$$\mathbf x_i$$\mathbf p_1$$\mathbf p_1$$\mathbf p_1$

Тем не менее, это не достаточно геометрический! Это не говорит мне, как найти такой и не указывает его длину.$\mathbf p_1$

Я предполагаю, что , x 2 , p 1 и p 2 все лежат на одном эллипсе с центром в 0, где p 1 и p 2 являются его основными осями. Вот как это выглядит в моем примере:$\mathbf x_1$$\mathbf x_2$$\mathbf p_1$$\mathbf p_2$$0$$\mathbf p_1$$\mathbf p_2$

$\hskip 1in$

Q1: как доказать это? Прямая алгебраическая демонстрация кажется очень утомительной; как увидеть, что это должно быть так?

Но есть много разных эллипсов с центром в и проходящих через x 1 и x 2 :$0$$\mathbf x_1$$\mathbf x_2$

$\hskip 1in$

Q2: Что определяет «правильный» эллипс? Моим первым предположением было, что это эллипс с максимально длинной главной осью; но это кажется неправильным (есть эллипсы с главной осью любой длины).

Если есть ответы на вопросы Q1 и Q2, я также хотел бы знать, обобщаются ли они на случай более двух переменных.

Все резюме отображаемые в вопросе, зависят только от его вторых моментов; или, что то же самое, на матрицу X ' X . Потому что мы думаем о X как о облаке точек - каждая точка - это ряд$\mathbf X$$\mathbf{X^\prime X}$$\mathbf X$ --мы может спроситьчто простые операции по этим вопросам сохранения свойств X ' X .$\mathbf X$$\mathbf{X^\prime X}$

Один из них - умножить влево на матрицу U n × n , что приведет к получению другого $\mathbf X$$n\times n$$\mathbf U$ матрицы U X . Чтобы это работало, важно, чтобы$n\times 2$$\mathbf{UX}$

$$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$$

Равенство гарантируется, когда является$\mathbf{U^\prime U}$ единичная матрица: то есть, когда U являетсяортогональной.$n\times n$$\mathbf{U}$

Хорошо известно (и легко показать), что ортогональные матрицы являются продуктами евклидовых отражений и вращений (они образуют группу отражений в ). Выбирая ротациюумом, мы можем значительно упростить X . Одна идея состоит в том, чтобы сосредоточиться на вращениях, которые затрагивают только две точки в облаке одновременно. Это особенно просто,потому что мы можем их визуализировать.$\mathbb{R}^n$$\mathbf{X}$

В частности, пусть и ( х J , у J ) две различные точки , отличные от нуля в облаке, составляя на строки I и J на X . Вращение пространства столбцов R n, затрагивающее только эти две точки, преобразует их в$(x_i, y_i)$$(x_j, y_j)$$i$$j$$\mathbf{X}$$\mathbb{R}^n$

$$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$$

То, что это составляет, - это рисование векторов и ( y i , y j ) в плоскости и поворот их на угол θ . (Обратите внимание, как здесь смешиваются координаты! Х совпадают друг с другом, а у - вместе. Таким образом, эффект этого вращения в R n обычно не будет выглядеть как вращение векторов ( x i , у и ) и$(x_i, x_j)$$(y_i, y_j)$$\theta$$x$$y$$\mathbb{R}^n$$(x_i, y_i)$$(x_j, y_j)$ как нарисовано в $\mathbb{R}^2$ )

Выбрав правильный угол, мы можем обнулить любой из этих новых компонентов. Чтобы быть конкретным, давайте выберем так, чтобы$\theta$

$$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$$

Это делает . Выберите знак, чтобы сделать y ′ j ≥ 0 . Назовем эту операцию, которая изменяет точки i и j в облаке, представленном X , $x_j^\prime=0$$y_j^\prime \ge 0$$i$$j$$\mathbf X$ .$\gamma(i,j)$

Рекурсивное применение к X приведет к тому, что первый столбец X станет ненулевым только в первой строке. Геометрически мы переместим все, кроме одной точки облака, на ось y . Теперь мы можем применить один поворот, потенциально включающий в себя координаты 2 , 3 , … , n в - $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$$\mathbf{X}$$\mathbf{X}$$y$$2, 3, \ldots, n$ , чтобы сжать эти$\mathbb{R}^n$$n-1$указывает на одну точку. Эквивалентное был уменьшен до блочной формы$X$

$$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$$

с и z оба вектора столбцов с n - 1 координатами, таким образом, что$\mathbf{0}$$\mathbf{z}$$n-1$

$$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$$

This final rotation further reduces $\mathbf{X}$ to its upper triangular form

$$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$$

In effect, we can now understand $\mathbf{X}$ in terms of the much simpler $2\times 2$ matrix $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$ created by the last two nonzero points left standing.

To illustrate, I drew four iid points from a bivariate Normal distribution and rounded their values to

$$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$$

This initial point cloud is shown at the left of the next figure using solid black dots, with colored arrows pointing from the origin to each dot (to help us visualize them as vectors).

The sequence of operations effected on these points by $\gamma(1,2), \gamma(1,3),$ and $\gamma(1,4)$ results in the clouds shown in the middle. At the very right, the three points lying along the $y$ axis have been coalesced into a single point, leaving a representation of the reduced form of $\mathbf X$. The length of the vertical red vector is $||\mathbf{z}||$; the other (blue) vector is $(x_1^\prime, y_1^\prime)$.

Notice the faint dotted shape drawn for reference in all five panels. It represents the last remaining flexibility in representing $\mathbf X$: as we rotate the first two rows, the last two vectors trace out this ellipse. Thus, the first vector traces out the path

$$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$$

while the second vector traces out the same path according to

$$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$$

We may avoid tedious algebra by noting that because this curve is the image of the set of points $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$ under the linear transformation determined by

$$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$$

it must be an ellipse. (Question 2 has now been fully answered.) Thus there will be four critical values of $\theta$ in the parameterization $(1)$, of which two correspond to the ends of the major axis and two correspond to the ends of the minor axis; and it immediately follows that simultaneously $(2)$ gives the ends of the minor axis and major axis, respectively. If we choose such a $\theta$, the corresponding points in the point cloud will be located at the ends of the principal axes, like this:

Because these are orthogonal and are directed along the axes of the ellipse, they correctly depict the principal axes: the PCA solution. That answers Question 1.

---

The analysis given here complements that of my answer at Bottom to top explanation of the Mahalanobis distance. There, by examining rotations and rescalings in $\mathbb{R}^2$, I explained how any point cloud in $p=2$ dimensions geometrically determines a natural coordinate system for $\mathbb{R}^2$. Here, I have shown how it geometrically determines an ellipse which is the image of a circle under a linear transformation. This ellipse is, of course, an isocontour of constant Mahalanobis distance.

Another thing accomplished by this analysis is to display an intimate connection between QR decomposition (of a rectangular matrix) and the Singular Value Decomposition, or SVD. The $\gamma(i,j)$ are known as Givens rotations. Their composition constitutes the orthogonal, or "$Q$", part of the QR decomposition. What remained--the reduced form of $\mathbf{X}$--is the upper triangular, or "$R$" part of the QR decomposition. At the same time, the rotation and rescalings (described as relabelings of the coordinates in the other post) constitute the $\mathbf{D}\cdot \mathbf{V}^\prime$ part of the SVD, $\mathbf{X} = \mathbf{U\, D\, V^\prime}$. The rows of $\mathbf{U}$, incidentally, form the point cloud displayed in the last figure of that post.

Finally, the analysis presented here generalizes in obvious ways to the cases $p\ne 2$: that is, when there are just one or more than two principal components.