Являются ли сумма и произведение двух ковариационных матриц ковариационной матрицей?

Предположим , у меня есть ковариационной матрицы и . Какие из этих вариантов также являются ковариационными матрицами?$X$$Y$

1. $X+Y$
2. $X^2$
3. $XY$

---

У меня возникли проблемы с пониманием того, что именно нужно для того, чтобы что-то было матрицей ковариации. Я предполагаю, что это означает, что, например, если и что для того, чтобы 1 , мы должны иметь это , где и - некоторые другие случайные величины. Однако я не понимаю, почему это будет справедливо для любого из трех вариантов. Любое понимание будет оценено.Y = cov ( Y 1 , Y 2 ) cov ( X 1 , X 2 ) + cov ( Y 1 , Y 2 ) = cov ( Z 1 , Z 2 ) Z 1 Z $X=\operatorname{cov}(X_1,X_2)$$Y=\operatorname{cov}(Y_1,Y_2)$$\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$$Z_1$$Z_2$

Фон

Ковариационная матрица для вектора случайных величин содержит процедуру вычисления дисперсии любой линейной комбинации этих случайных величин. Правило заключается в том, что для любого вектора коэффициентов , X = ( X 1 , X 2 , … , X n ) ′ λ = ( λ 1 , … , λ n$\mathbb{A}$$X=(X_1, X_2, \ldots, X_n)^\prime$$\lambda = (\lambda_1, \ldots, \lambda_n)$

$$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$$

Другими словами, правила умножения матриц описывают правила дисперсий.

Два свойства являются непосредственными и очевидными:$\mathbb{A}$

1. Поскольку отклонения являются ожиданиями квадратов, они никогда не могут быть отрицательными. Таким образом, для всех векторов ,Ковариационные матрицы должны быть неотрицательно определенными.0 ≤ Var ( λ X ) = λ A λ ′$\lambda$

   $$0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$$

2. Отклонения - это просто числа - или, если вы читаете матричные формулы буквально, они представляют собой матрицы . Таким образом, они не меняются, когда вы их транспонируете. Транспонирование дает Поскольку это верно для всех , должен быть равен его транспонированной : ковариационные матрицы должны быть симметричными.$1\times 1$$(1)$

   $$\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$$ $\lambda$$\mathbb{A}$$\mathbb{A}^\prime$

Более глубокий результат состоит в том, что любая неотрицательно определенная симметричная матрица является ковариационной матрицей. $\mathbb{A}$ Это означает, что на самом деле существует некоторая векторная случайная величина с качестве ее ковариации. Мы можем продемонстрировать это путем явного построения . Один из способов - заметить, что (многомерная) функция плотности со свойством имеет для своей ковариации. (Некоторая деликатность необходима, когда не является обратимым - но это просто техническая деталь.)$X$$\mathbb{A}$$X$$f(x_1,\ldots, x_n)$

$$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$$ $\mathbb{A}$$\mathbb{A}$

Решения

Пусть и ковариационные матрицы. Очевидно, они квадратные; и если их сумма имеет какой-то смысл, они должны иметь одинаковые размеры. Нам нужно только проверить два свойства.$\mathbb{X}$$\mathbb{Y}$

1. Сумма.

   • Симметрия показывает сумма симметрична. $$(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$$
   • Неотрицательная определенность. Пусть будет любым вектором. Тогда доказывает точку, используя основные свойства умножения матриц.$\lambda$ $$\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$$

2. Я оставляю это как упражнение.

3. Этот хитрый. Один метод, который я использую, чтобы продумать сложные матричные задачи, состоит в том, чтобы сделать некоторые вычисления с матрицы Есть несколько распространенных, знакомых ковариационных матриц такого размера, таких как с и . Проблема заключается в том, что может не быть определенным: то есть может ли он давать отрицательное значение при вычислении дисперсии? Если это произойдет, то нам лучше иметь некоторые отрицательные коэффициенты в матрице. Это предполагает рассмотрение для . Чтобы получить что-то интересное, мы могли бы изначально стремиться к матрицам$2\times 2$

   $$\pmatrix{a & b \\ b & a}$$ $a^2 \ge b^2$$a \ge 0$$\mathbb{XY}$ $$\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$$ $a \ge 1$$\mathbb{Y}$ с различными структурами. На ум приходят диагональные матрицы, такие как с . (Обратите внимание, как мы можем свободно выбирать некоторые коэффициенты, такие как и , потому что мы можем масштабировать все записи в любой ковариационной матрице без изменения ее фундаментальных свойств. Это упрощает поиск интересных примеров.) $$\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$$ $b\ge 0$$-1$$1$

   Я оставляю вам задачу вычислить и проверить, всегда ли она является ковариационной матрицей для любых допустимых значений и .$\mathbb{XY}$$a$$b$

Вещественная матрица является ковариационной матрицей тогда и только тогда, когда она является симметричной положительной полуопределенной матрицей.

подсказки:

1) Если и симметричны, является ли симметричным? Если для любых и для любых , что вы можете сделать по поводу ?Y X + Y z T X z ≥ 0 z z T Y z ≥ 0 z z T ( X + Y ) $X$$Y$$X+Y$$z^TX z \ge 0$$z$$z^TY z \ge 0$$z$$z^T(X+Y)z$

2) Если симметричен, симметричен? Если собственные значения неотрицательны, что вы можете сделать вывод о собственных значениях ?X 2 X X $X$$X^2$$X$$X^2$

3) Если и симметричны, можете ли вы сделать вывод, что симметричен, или вы можете найти контрпример?Y X $X$$Y$$XY$