Что говорит обратная ковариационная матрица о данных? (Наглядно)

Меня интересует природа $\Sigma^{-1}$ . Кто-нибудь может сказать что-то интуитивное о том, «Что $\Sigma^{-1}$ говорит о данных?»

Редактировать:

Спасибо за ответы

Пройдя несколько отличных курсов, я бы хотел добавить несколько моментов:

Это мера информации, т. Е. $x^T\Sigma^{-1}x$ это количество информации по направлению $x$ .
Двойственность: Поскольку положительно определен, как и , то есть они являются точечными нормами, точнее, они являются дуальными нормами друг друга, поэтому мы можем вывести двойственное число по Фенчелю для регуляризованной задачи наименьших квадратов и выполнить максимизацию относительно двойственной проблема. Мы можем выбрать любой из них, в зависимости от их условий. $\Sigma$ $\Sigma^{-1}$
Гильбертово пространство: столбцы (и строки) из и охватывают одно и то же пространство. Таким образом, нет никакого преимущества (кроме того, что когда одна из этих матриц плохо обусловлена) между представлением с или $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
$\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Статистика для частых: она тесно связана с информацией Фишера, используя границу Крамера – Рао. Фактически, информационная матрица Фишера (внешний продукт градиента логарифмического правдоподобия с самим собой) связана с Крамером-Рао, т.е. (относительно положительного полуопределенного конуса, iewrt концентрации эллипсоиды). Поэтому, когда максимальная оценка правдоподобия эффективна, т. Е. В данных существует максимальная информация, поэтому частотный режим является оптимальным. Проще говоря, для некоторых функций правдоподобия (обратите внимание, что функциональная форма правдоподобия зависит исключительно от вероятностной модели, которая предположительно генерирует данные, или генеративной модели), максимальное правдоподобие является эффективной и непротиворечивой оценщиком, правилом, подобным боссу. (извините за это) $\Sigma^{-1}\preceq \mathcal{F}$ $\Sigma^{-1}=\mathcal{F}$

bayesian maximum-likelihood covariance matrix Arya
источник

Я думаю, что PCA подбирает собственный вектор с большими собственными значениями, а не с маленькими собственными значениями.

wdg

(3) Неправильно, потому что это равносильно утверждению, что столбцы равны столбцам (с точностью до перестановки), что верно только для единичной матрицы.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

whuber

Ответы:

Это мера точности так же, как является мерой дисперсии. $\Sigma$

Более детально, - это мера того, как переменные распределены вокруг среднего значения (диагональные элементы) и как они изменяются вместе с другими переменными (недиагональными) элементами. Чем больше дисперсия, чем дальше они находятся от среднего значения и чем больше они изменяются (по абсолютной величине) с другими переменными, тем сильнее у них тенденция «двигаться вместе» (в том же или противоположном направлении в зависимости от признак ковариации). $\Sigma$

Точно так же является мерой того, насколько плотно кластеризованы переменные вокруг среднего значения (диагональные элементы) и степени, в которой они не изменяются вместе с другими переменными (недиагональными элементами). Таким образом, чем выше диагональный элемент, тем плотнее переменная сгруппирована вокруг среднего значения. Интерпретация недиагональных элементов более тонкая, и я отсылаю вас к другим ответам для этой интерпретации. $\Sigma^{-1}$

проп
источник

Яркий контрпример к вашему последнему утверждению о недиагональных элементах в дает простейший нетривиальный пример в двух измерениях: Большие недиагональные значения соответствуют более экстремальным значениям коэффициента корреляции что противоположно тому, что вы говорите.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

whuber

@ Правильно. Я должен избавиться от «абсолютного» слова в последнем предложении. Спасибо

проп

Спасибо, но это все еще не решает проблему: отношения, которые вы утверждаете между недиагональными элементами инверсии и ко-вариацией, не существует.

whuber

@ Whuber Я думаю, что это так. В вашем примере недиагональные элементы отрицательны. Следовательно, при увеличении недиагональные элементы уменьшаются. Вы можете проверить это, отметив следующее: при недиагональный элемент равен ; при приближении к недиагональные элементы приближаются к а производная недиагонального элемента по отрицательна.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

опора

Мои недиагональные элементы положительны, когда

ρ < 0.

$\rho\lt 0.$

whuber

Используя верхние индексы для обозначения элементов обратного, - это дисперсия компонента переменной которая не связана с другими переменными , и - это частичная корреляция переменных и , контролирующая другие переменные . $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

Рэй Купман
источник