Являются ли компоненты PCA многомерных гауссовских данных статистически независимыми?

Являются ли компоненты PCA (в анализе главных компонентов) статистически независимыми, если наши данные многомерны и нормально распределены? Если да, то как это можно продемонстрировать / доказать?

Я спрашиваю, потому что я видел этот пост , где верхний ответ гласит:

PCA не делает явного предположения гауссовости. Он находит собственные векторы, которые максимизируют дисперсию, объясненную в данных. Ортогональность основных компонентов означает, что он находит наиболее некоррелированные компоненты, чтобы объяснить как можно больше изменений в данных. Для многомерных гауссовых распределений нулевая корреляция между компонентами подразумевает независимость, которая не верна для большинства распределений.

Ответ формулируется без доказательства и, по-видимому, подразумевает, что PCA производит независимые компоненты, если данные многомерны нормальны.

В частности, скажем, наши данные являются образцами из:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

мы помещаем $n$ выборок $\mathbf{x}$ в строки нашей матрицы выборок $\mathbf{X}$ , поэтому $\mathbf{X}$ равно $n \times m$ . Вычисление SVD $\mathbf{X}$ (после центрирования) дает

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

Можем ли мы сказать, что столбцы $\mathbf{U}$ статистически независимы, а также строки $\mathbf{V}^T$ ? В общем, верно ли это только для $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ или нет вообще?

pca independence svd bill_e
источник

stats.stackexchange.com/q/110508/3277 - похожий вопрос.

ttnphns

Я не понимаю, как компьютеры можно считать «статистически независимыми» в более чем одном измерении. В конце концов, по определению, каждый ортогонален всем остальным; эта функциональная зависимость создает очень сильную статистическую зависимость.

whuber

@amoeba Я надеюсь , что я последовательно ясно, а также верным на вопрос, который я нахожу , чтобы быть четко сформулированы и однозначны: поскольку данные

являются случайными, так что все записи в

. Я применил к ним определение статистической независимости. Это все. Похоже, ваша проблема в том, что вы используете слово «некоррелированный» в двух совершенно разных смыслах, казалось бы, не осознавая этого: в силу того, как построены столбцы

, они геометрически ортогональны как векторы в , но они никоим образом означает независимые случайные векторы!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

whuber

@amoeba Вы правы - симуляция довольно убедительно показывает, что корреляция может быть (сильно) ненулевой. Однако я не оспариваю, что «компоненты PCA некоррелированы» в смысле «корреляция» = «ортогональны», и при этом я не говорю, что какой-то конкретный учебник неверен. Меня беспокоит то, что такое утверждение, правильно понятое, настолько не имеет отношения к вопросу, что все, что он может сделать (и сделал), - это серьезная путаница в нынешнем контексте.

whuber

@whuber, я уверен, что вы с нетерпением ждали еще одного издания моего ответа! Вот. Я явно признать свои пункты о зависимости, и сделать заявление , что столбцы

являются асимптотически независимы, как мой основной точки. Здесь «асимптотически» относится к числу

наблюдений (строк). Я очень надеюсь, что мы сможем договориться об этом! Я также утверждаю, что для любого разумного

, такого как

, зависимость между столбцами "практически не имеет значения". Я думаю, это более спорный вопрос, но я стараюсь сделать его достаточно точным в своем ответе.

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

говорит амеба: восстанови Монику

Начну с интуитивной демонстрации.

Я сгенерировал наблюдений (а) из сильно негауссовского 2D-распределения и (b) из 2D-гауссовского распределения. В обоих случаях я центрировал данные и выполнил разложение по сингулярным числам . Затем для каждого случая я составил график рассеяния первых двух столбцов , один против другого. Обратите внимание, что обычно это столбцы , которые называются «основными компонентами» (ПК); столбцы - это ПК, масштабируемые до единичной нормы; до сих пор, в этом ответе я сосредоточусь на столбцах . Вот точечные диаграммы: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

Я думаю, что такие утверждения, как «компоненты PCA являются некоррелированными» или «компоненты PCA являются зависимыми / независимыми», обычно делаются относительно одной конкретной матрицы образцов и относятся к корреляциям / зависимостям между строками (см., Например , ответ @ ttnphns здесь ). PCA дает преобразованную матрицу данных , где строки - наблюдения, а столбцы - переменные ПК. Т.е. мы можем рассмотреть как образец и спросить, какова выборочная корреляция между переменными ПК. Эта выборочная корреляционная матрица, конечно, задается как $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ Это означает, что выборочные корреляции между переменными ПК равны нулю. Это то, что люди имеют в виду, когда говорят, что «PCA диагонализирует ковариационную матрицу» и т. Д.

Вывод 1: в координатах PCA любые данные имеют нулевую корреляцию.

Это верно для обоих графиков рассеяния выше. Однако сразу очевидно, что две переменные ПК и на левой (негауссовой) диаграмме рассеяния не являются независимыми; даже несмотря на то, что они имеют нулевую корреляцию, они сильно зависят и фактически связаны a . И действительно, общеизвестно, что некоррелированный не означает независимость . $x$ $y$ $y\approx a(x-b)^2$

Напротив, две переменные ПК и на правой (гауссовой) диаграмме рассеяния кажутся «в значительной степени независимыми». Вычисление взаимной информации между ними (которая является мерой статистической зависимости: независимые переменные имеют нулевую взаимную информацию) любым стандартным алгоритмом даст значение, очень близкое к нулю. Это не будет точно ноль, потому что это никогда не будет точно ноль для любого конечного размера выборки (если не настроен точно); кроме того, существуют различные методы для вычисления взаимной информации двух образцов, дающие несколько разные ответы. Но мы можем ожидать, что любой метод даст оценку взаимной информации, которая очень близка к нулю. $x$ $y$

Вывод 2: в координатах PCA гауссовы данные «в значительной степени независимы», что означает, что стандартные оценки зависимости будут около нуля.

Вопрос, однако, более сложный, о чем свидетельствует длинная цепочка комментариев. Действительно, @whuber справедливо указывает на то, что переменные PCA и (столбцы ) должны быть статистически зависимыми: столбцы должны иметь единичную длину и быть ортогональными, и это вводит зависимость. Например, если какое-либо значение в первом столбце равно , то соответствующее значение во втором столбце должно быть . $x$ $y$ $\mathbf U$ $1$ $0$

Это верно, но актуально только для очень маленьких , таких как, например, (с $n$ $n=3$ после центрирования есть только один ПК). Для любого разумного размера выборки, такого как показанного на моем рисунке выше, эффект зависимости будет незначительным; столбцы являются (масштабированными) проекциями гауссовых данных, поэтому они также являются гауссовыми, что делает практически невозможным, чтобы одно значение было близко к (это потребовало бы, чтобы все остальные элементов были близки к , что вряд ли распределение Гаусса). $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$

Вывод 3: строго говоря, для любого конечного гауссовы данные в координатах PCA являются зависимыми; однако эта зависимость практически не имеет значения для любого . $n$ $n\gg 1$

Мы можем уточнить это, рассмотрев, что происходит в пределе . В пределе бесконечного размера выборки ковариационная матрица выборки равна ковариационной матрице . Таким образом , если вектор данных выборка из , то переменные являются ПК $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ (где и $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ являются собственными значениями и собственными векторами ) и . Т.е. переменные ПК происходят из многомерного гаусса с диагональной ковариацией. Но любой многомерный гауссов с диагональной ковариационной матрицей разлагается в произведение одномерных гауссианов, и это определение статистической независимости : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Вывод 4: асимптотически ( ) переменные PC гауссовых данных статистически независимы как случайные величины, и выборочная взаимная информация даст значение совокупности ноль. $n \to \infty$

Я должен отметить, что этот вопрос можно понять по-разному (см. Комментарии @whuber): рассмотреть всю матрицу случайной величиной (полученной из случайной матрицы посредством определенной операции) и спросить, есть ли какие-либо два конкретных элемента и из двух разных столбцов статистически независимы в различных розыгрышах . Мы исследовали этот вопрос в этой более поздней теме . $\mathbf U$ $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$

Вот все четыре предварительных вывода сверху:

В координатах PCA любые данные имеют нулевую корреляцию.
В координатах PCA гауссовы данные «в значительной степени независимы», что означает, что стандартные оценки зависимости будут около нуля.
$n$ $n\gg 1$
$n \to \infty$

амеба говорит восстановить монику
источник

Вы пишете «Однако, если данные являются многомерными гауссовскими, то они действительно независимы». «Они» являются основными компонентами и их коэффициентами? Что вы подразумеваете под PCA, диагонализует ковариационную матрицу? Благодарю за ваш ответ!

bill_e

«Они» относятся к основным компонентам (которые являются проекциями данных на направления максимальной дисперсии). PCA ищет направления максимальной дисперсии; Оказывается, что эти направления задаются собственными векторами ковариационной матрицы. Если вы измените координаты на «Координаты PCA», то ковариационная матрица будет диагональной, то есть так работает собственная декомпозиция. Эквивалентно матрица

S

$S$ в СВД от вашего вопроса есть диагональная матрица. Также матрица

U

$U$ is orthogonal, meaning that its covariance matrix is diagonal. All of that means that PCs have correlation zero.

amoeba says Reinstate Monica

Cool, thank you! The combination of your answer and this comment helps clear things up for me a lot. Can I edit your comment into your answer?

bill_e

I expanded the answer by incorporating the comment; see if you are happy with it now.

amoeba says Reinstate Monica

Interesting discussion! When I asked the question, my thought of statistical dependence was "if you know PC1, is it possible infer PC2?, etc." I will look more into independence tests based on mutual information now.

bill_e

Являются ли компоненты PCA многомерных гауссовских данных статистически независимыми?

Ответы: