Почему корреляционная матрица должна быть положительной полуопределенной и что значит быть или не быть положительной полуопределенной?

Я исследовал значение положительного полуопределенного свойства матриц корреляции или ковариации.

Я ищу любую информацию о

Определение положительной полуопределенности;
Его важные свойства, практические последствия;
Последствия отрицательного фактора, влияние на многомерный анализ или результаты моделирования и т. Д.

covariance-matrix eigenvalues determinant correlation-matrix Дыня
источник

Вы хотите , чтобы понять , что пол-определённость есть , или вы хотите знать , почему корреляционные матрицы должны быть полуопределенными, или вы хотите знать , что важные результаты вытекают из этого свойства?

whuber

Если корреляционные матрицы не являются полуположительными, то можно получить отклонения, которые были отрицательными.

Я немного отредактировал ваш вопрос, пожалуйста, проверьте его. Также обратите внимание, что матрица с четным числом отрицательных собственных значений будет по-прежнему иметь положительный определитель.

ttnphns

Ковариационная матрица НЕ всегда равна корреляционной матрице! Ковариация учитывает нормализованные переменные, а корреляционная матрица - нет.

Манодж Кумар

Вопросы, связанные с данной: Является ли каждая ковариационная матрица положительно определенной? рассматривает более широкий случай ковариационных матриц, из которых корреляционные матрицы являются частным случаем; Также Является ли каждая корреляционная матрица положительной полуопределенной? и является ли каждая корреляционная матрица положительно определенной?

Серебряная рыба

Ответы:

Дисперсия взвешенной суммы случайных величин должна быть неотрицательной для всех вариантов выбора действительных чисел . Поскольку отклонение может быть выражено как мы имеем, что ковариационная матрица должна быть положительно полуопределенной (которую иногда называют неотрицательно определенной). Напомним, что матрица называется положительной полуопределенной тогда и только тогда, когда $\sum_i a_i X_i$ $a_i$

вар (\underset{я}{Σ} a_{я} {Икс}_{я}) знак равно \underset{я}{Σ} \underset{J}{Σ} a_{я} a_{J} сОУ ({Икс}_{я}, {Икс}_{J}) знак равно \underset{я}{Σ} \underset{J}{Σ} a_{я} a_{J} Σ_{я, J},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\underset{я}{Σ} \underset{J}{Σ} a_{я} a_{J} С_{я, J} \geq 0 \forall a_{я}, a_{J} \in р,

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

Дилип Сарватэ
источник

Спасибо, я удалил свое отрицательное голосование, но я не повышал голосование, потому что это не отвечает о практических последствиях. Скажем, у меня есть матрица, которая не является положительно определенной (например, из-за модификации «экспертом»). Что произойдет, если я использую его для калибровки и / или моделирования данных? В частности, это реальная проблема, когда вы пытаетесь изучить большую сумму, и есть только несколько отрицательных собственных значений? Каким был бы эффективный алгоритм преобразования неположительной полуопределенной корреляционной матрицы в положительную полуопределенную? Какое влияние окажет этот алгоритм?

lcrmorin

@Were_cat Спасибо за отмену понижающего голоса.

Дилип Сарватэ

Не могли бы вы объяснить первое равенство в первом уравнении?

Вивек Субраманян

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} сОУ (\underset{я}{Σ} a_{я} {Икс}_{я}, Y) & знак равно \underset{я}{Σ} a_{я} сОУ ({Икс}_{я}, Y) \\ сОУ (Икс, \underset{я}{Σ} б_{J} Y_{J},) & знак равно \underset{J}{Σ} б_{J} сОУ (Икс, Y_{J}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

Ответ довольно прост!

Корреляционная матрица определяется таким образом:

$X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

$X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

Матрица корреляции тогда

С знак равно {Икс}_{б}^{'} {Икс}_{б}

$C=X_b' X_b$

$A$ $z$ $z' A z <0$

$C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

Грегор
источник

Это, безусловно, самый ясный, самый краткий и полезный ответ. Благодарность !

Йохан Обадия

(Возможная разболтанность рассуждений была бы моей. Я не математик: это изображение, а не доказательство, и это из моих численных экспериментов, а не из книг.)

Неотрицательно матрица (СДП), которая также называется Определитель Грама, представляет собой матрицу без каких - либо отрицательных собственных значений. Матрица с отрицательными собственными значениями не является положительной полуопределенной или неграмовой. Оба они могут быть определенными (без нулевых собственных значений) или единичными (хотя бы с одним нулевым собственным значением). [Слово «Грамиан» используется в нескольких различных значениях в математике, поэтому, возможно, следует избегать.]
В статистике мы обычно применяем эти термины к матрице типа SSCP, также называемой матрицей скалярного произведения. Корреляционные или ковариационные матрицы являются частными случаями такой матрицы .
$n$ $p$ $p$ $p$ $n$ $n$ ковариационная матрица между падежами. Когда вы вычисляете это из реальных данных, матрица всегда будет Gramian. Вы можете получить неграммову матрицу (не-psd), если (1) это матрица сходства, измеренная напрямую (т.е. не вычисленная по данным), или мера сходства не является SSCP-типом; (2) значения матрицы были введены неправильно; (3) матрица на самом деле является грамиановой, но она (или очень близка) к единственному, что иногда спектральный метод вычисления собственных значений производит крошечные отрицательные вместо истинного нуля или крошечные положительные.
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
Каковы возможные причины или версии неграмовской (неевклидовой) конфигурации? Ответы следуют после созерцания [пункт 4].
- $m$ $m$ $d$
- $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

Рисунок 1.

Рисунок 1

Fig2.

fig2

Рис3.

Рис3

ttnphns
источник

Точка 6 нуждается в демонстрации: вы показали, что матрица квадратов евклидовых расстояний - это pd, но вы без доказательств утверждаете, что каждой матрице pd соответствует евклидова конфигурация точек. Также вы не связали свое определение pd («нет отрицательных собственных значений») ни с одной из ваших последующих характеристик. Ключевая идея приходит в конце (точка 8): матрица pd может использоваться для определения расстояния. Логично, что именно здесь вы должны начать анализ.

whuber

@whuber: Спасибо за критическую оценку. Боюсь, когда дело доходит до математического доказательства чего-либо, я тону. Я сообщил часть своего практического опыта (я сказал это); ответ на самом деле не был аналитической последовательностью. Не хотите ли вы добавить свой собственный ответ, который может исправить / улучшить мой? Это может оказаться ценным помощником. Или вы можете работать над моим текстом, чтобы улучшить его, если сочтете его совершенно бесполезным.

ttnphns

PS Моя точка 8 подразумевает, что, поскольку двойное центрирование привязывает конфигурацию точек к центроиду, эта операция сама по себе не вносит неевклидности (она создает только сингулярность, потому что новая точка, центр, принадлежит одному и тому же пространству). Отсюда мы можем проверить, была ли начальная конфигурация евклидовой. Это не правильно?

ttnphns