Существует ли интуитивная интерпретация для матрицы данных ?

Для данной матрицы данных (с переменными в столбцах и точками данных в строках) кажется, что играет важную роль в статистике. Например, это важная часть аналитического решения обычных наименьших квадратов. Или, для PCA, его собственные векторы являются основными компонентами данных.$A$$A^TA$

Я понимаю, как рассчитать , но мне было интересно, есть ли интуитивная интерпретация того, что представляет эта матрица, что приводит к ее важной роли?$A^TA$

Геометрически матрица называется матрицей скалярных произведений (= точечные произведения, = внутренние произведения). Алгебраически это называется матрицей суммы квадратов и кросс-произведений ( SSCP ).$\bf A'A$

Его диагональный элемент равен , где обозначает значения в столбце а - сумма по строкам. -го недиагональных элемента в ней есть .$i$$\sum a_{(i)}^2$$a_{(i)}$$i$$\bf A$$\sum$$ij$$\sum a_{(i)}a_{(j)}$

Существует ряд важных коэффициентов ассоциации, и их квадратные матрицы называются угловыми сходствами или подобиями типа SSCP:

• Разделив матрицу SSCP на , размер выборки или количество строк , вы получите матрицу MSCP (среднеквадратичное и перекрестное произведение). Следовательно, попарной формулой этой меры ассоциации является (векторы и представляют собой пару столбцов из ).$n$$\bf A$$\frac{\sum xy}{n}$$x$$y$$\bf A$

• Если вы центрируете столбцы (переменные) в , то - это матрица рассеяния (или совместного рассеяния, если быть строгой), а - ковариация матрица. Попарная формула ковариации имеет вид где и обозначают центрированные столбцы.$\bf A$$\bf A'A$$\mathbf {A'A}/(n-1)$$\frac{\sum c_xc_y}{n-1}$$c_x$$c_y$

• Если вы z- стандартизируете столбцы (вычтите среднее значение столбца и поделите на стандартное отклонение), то - это корреляционная матрица Пирсона : корреляция - это ковариация для стандартизированных переменных. Попарная формула корреляции: где и обозначают стандартизированные столбцы. Корреляция также называется коэффициентом линейности.$\bf A$$\mathbf {A'A}/(n-1)$$\frac{\sum z_xz_y}{n-1}$$z_x$$z_y$

• Если вы масштабируете столбцы (приводите их SS, сумму квадратов к 1), то - это матрица сходства косинусов . Таким образом, эквивалентная попарная формула выглядит так: с и обозначающими L2-нормализованные столбцы , Косинусное сходство также называют коэффициентом пропорциональности.$\bf A$$\bf A'A$$\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$$u_x$$u_y$

• Если центр , а затем Unit- масштаб столбцы , то снова Пирсон Корреляция матрица, так как корреляция косинус для центрированных переменных :$\bf A$$\bf A'A$$^{1,2}$$\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

Наряду с этими четырьмя основными мерами ассоциации, давайте также упомянем некоторые другие, также основанные на , чтобы его. Их можно рассматривать как меры, альтернативные косинусному подобию, поскольку они принимают отличную от него нормировку, знаменатель в формуле:$\bf A'A$

• Коэффициент идентичности [Zegers & ten Berge, 1985] имеет свой знаменатель в виде среднего арифметического, а не среднего геометрического: . Это может быть 1, если и только если сравниваемые столбцы идентичны.$\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$$\bf A$

• Другой используемый коэффициент, называемый коэффициентом сходства : .$\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$

• Наконец, если значения в неотрицательны и их сумма в столбцах равна 1 (например, они являются пропорциями), то - это матрица верности или коэффициент Бхаттачария .$\bf A$$\bf \sqrt {A}'\sqrt A$

---

$^1$ Один способ также вычислить корреляционную или ковариационную матрицу, используемую многими статистическими пакетами, обходит центрирование данных и отправляется прямо из матрицы SSCP таким образом. Пусть будет вектором строк суммы столбцов данных а является количеством строк в данных. Затем (1) вычислите матрицу рассеяния как [отсюда, будет ковариационной матрицей]; (2) диагональ - это суммы квадратов отклонений, вектор строки ; (3) вычислить корреляционную матрицу .$\bf A'A$$\bf s$$\bf A$$n$$\bf C = A'A-s's/ \it n$$\mathbf C/(n-1)$$\bf C$$\bf d$$\bf R=C/\sqrt{d'd}$

$^2$ Острый, но статистически начинающий читатель может столкнуться с трудностями примирения двух определений корреляции - как «ковариации» (которая включает в себя усреднение по размеру выборки, деление на df = «n-1») и как «косинус» (что подразумевает нет такого усреднения). Но на самом деле никакого реального усреднения в первой формуле корреляции не происходит. Дело в том, что ул. отклонение, с помощью которого была достигнута z-стандартизация, в свою очередь вычислялось с делением на ту же самую df ; и поэтому знаменатель «n-1» в формуле корреляция-как-ковариация полностью отменяется, если развернуть формулу: формула превращается в формулу косинуса . Для вычисления эмпирического значения корреляции вам действительно нужно не знать$n$ (кроме случаев вычисления среднего значения по центру).

Матрица содержит все скалярные произведения всех столбцов в . Таким образом, диагональ содержит квадраты норм столбцов. Если вы думаете о геометрии и ортогональных проекциях на пространство столбцов, охватываемых столбцами в вы можете вспомнить, что нормы и внутренние произведения векторов, охватывающих это пространство, играют центральную роль в вычислении проекции. Регрессия наименьших квадратов, а также главные компоненты могут быть поняты в терминах ортогональных проекций.$A^TA$$A$$A$

Также отметим, что если столбцы ортонормированы, тем самым образуя ортонормированный базис для пространства столбцов, то единичная матрица.$A$$A^TA = I$ $-$

@NRH дал хороший технический ответ.

Если вы хотите что-то действительно простое, вы можете думать о как о матричном эквиваленте для скаляра.$A^TA$$A^2$

Важный взгляд на геометрию заключается в следующем (точка зрения, сильно подчеркнутая в книге Странга «Линейная алгебра и ее приложения»): Предположим, что A является -матрицей ранга k, представляющей линейное отображение . Пусть Col (А) и строки (А) столбцы и строки пространство . затем$A'A$$m \times n$$A: R^n \rightarrow R^m$$A$

(a) В качестве вещественной симметричной матрицы имеет базис собственных векторов с ненулевыми собственными значениями , Таким образом:$(A'A): R^n \rightarrow R^n$$\{e_1,..., e_n\}$$d_1,\ldots,d_k$

$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$ .

(б) Диапазон (A) = Col (A), по определению Col (A). Таким образом, A | Row (A) отображает строку (A) в Col (A).

(c) Ядро (A) является ортогональным дополнением строки (A). Это связано с тем, что умножение матриц определяется в терминах точечных произведений (строка i) * (col j). (Таким образом,$Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

(d) и является изоморфизмом ,$A(R^n)=A(\text{Row}(A))$$A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[Между прочим, дает доказательство того, что ранг строки = ранг столбца!]

(e) Применение (d), является изоморфизмом$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

(f) В силу (d) и (e): и A'A отображает Row (A) изоморфно в Row (A).$A'A(R^n) = \text{Row(A)}$

Хотя уже обсуждалось, что имеет смысл брать точечные произведения, я бы добавил только графическое представление этого умножения.$\textbf{A}^T\textbf{A}$

Действительно, в то время как строки матрицы (и столбцы матрицы ) представляют переменные, мы рассматриваем каждую переменную измерения как многомерный вектор. Умножение строки в на столбец в эквивалентно взятию точечного произведения двух векторов: - результатом является запись в позиции внутри матрицы .$\textbf{A}^T$$\textbf{A}$$row_p$$\textbf{A}^T$$col_p$$\textbf{A}$$dot(row_p, col_p)$$(p,p)$$\textbf{A}^T \textbf{A}$

Аналогично, умножение строки из на столбец из эквивалентно произведению точки: с результатом в позиции .$p$$\textbf{A}^T$$k$$\textbf{A}$$dot(row_p, col_k)$$(p,k)$

Запись результирующей матрицы имеет значение того, насколько вектор находится в направлении вектора . Если скалярное произведение двух векторов и отличен от нуля, некоторые сведения о векторной будет осуществляться вектором , и наоборот.$(p, k)$$\textbf{A}^T\textbf{A}$$row_p$$col_k$$row_i$$col_j$$row_i$$col_j$

Эта идея играет важную роль в анализе главных компонентов, где мы хотим найти новое представление нашей исходной матрицы данных , чтобы больше не было никакой информации о любом столбце в любом другом столбце , Изучая PCA глубже, вы увидите, что вычисляется «новая версия» ковариационной матрицы, и она становится диагональной матрицей, которую я оставляю вам, чтобы понять, что ... на самом деле это означает то, что я выразил в предыдущем предложении.$\textbf{A}$$i$$j \neq i$

Есть уровни интуиции. Для тех, кто знаком с матрицей матричной нотации, интуиция должна думать о ней как о квадрате случайной величины: против$x\to E[x^2]$$A\to A^TA$

В матричной записи выборка случайной величины наблюдений или совокупности представлена ​​вектором столбцов:$x$$x_i$

$$a=\begin{bmatrix} x_1 \\ x_2 \\ \dots \\ x_n \end{bmatrix}$$

Итак, если вы хотите получить примерное среднее квадрата переменной , вы просто получите скалярное произведение , которое в матричной записи совпадает с .$x$

$$\bar{x^2}=\frac{a\cdot a} n$$ $A^TA$

Обратите внимание, что если выборочное среднее значение переменной равно нулю, то дисперсия равна среднему значению квадрата: что аналогично . Это причина, почему в PCA вам нужно нулевое среднее, и почему появляется после того, как все PCA должны разложить матрицу отклонений набора данных.$\sigma^2=E[x^2]$$A^TA$$A^TA$