Являются ли сумма и произведение двух ковариационных матриц ковариационной матрицей?

12

Предположим , у меня есть ковариационной матрицы и . Какие из этих вариантов также являются ковариационными матрицами?YXY

  1. X+Y
  2. X2
  3. XY

У меня возникли проблемы с пониманием того, что именно нужно для того, чтобы что-то было матрицей ковариации. Я предполагаю, что это означает, что, например, если и что для того, чтобы 1 , мы должны иметь это , где и - некоторые другие случайные величины. Однако я не понимаю, почему это будет справедливо для любого из трех вариантов. Любое понимание будет оценено.Y = cov ( Y 1 , Y 2 ) cov ( X 1 , X 2 ) + cov ( Y 1 , Y 2 ) = cov ( Z 1 , Z 2 ) Z 1 Z 2X=cov(X1,X2)Y=cov(Y1,Y2)cov(X1,X2)+cov(Y1,Y2)=cov(Z1,Z2)Z1Z2

RBM
источник

Ответы:

12

Фон

Ковариационная матрица для вектора случайных величин содержит процедуру вычисления дисперсии любой линейной комбинации этих случайных величин. Правило заключается в том, что для любого вектора коэффициентов , X = ( X 1 , X 2 , , X n ) λ = ( λ 1 , , λ n )AX=(X1,X2,,Xn)λ=(λ1,,λn)

(1)Var(λX)=λAλ.

Другими словами, правила умножения матриц описывают правила дисперсий.

Два свойства являются непосредственными и очевидными:A

  1. Поскольку отклонения являются ожиданиями квадратов, они никогда не могут быть отрицательными. Таким образом, для всех векторов ,Ковариационные матрицы должны быть неотрицательно определенными.0 Var ( λ X ) = λ A λ .λ

    0Var(λX)=λAλ.
  2. Отклонения - это просто числа - или, если вы читаете матричные формулы буквально, они представляют собой матрицы . Таким образом, они не меняются, когда вы их транспонируете. Транспонирование дает Поскольку это верно для всех , должен быть равен его транспонированной : ковариационные матрицы должны быть симметричными.1×1(1)

    λAλ=Var(λX)=Var(λX)=(λAλ)=λAλ.
    λAA

Более глубокий результат состоит в том, что любая неотрицательно определенная симметричная матрица является ковариационной матрицей. A Это означает, что на самом деле существует некоторая векторная случайная величина с качестве ее ковариации. Мы можем продемонстрировать это путем явного построения . Один из способов - заметить, что (многомерная) функция плотности со свойством имеет для своей ковариации. (Некоторая деликатность необходима, когда не является обратимым - но это просто техническая деталь.)XAXf(x1,,xn)

log(f)12(x1,,xn)A1(x1,,xn)
AA

Решения

Пусть и ковариационные матрицы. Очевидно, они квадратные; и если их сумма имеет какой-то смысл, они должны иметь одинаковые размеры. Нам нужно только проверить два свойства.XY

  1. Сумма.

    • Симметрия показывает сумма симметрична.
      (X+Y)=X+Y=(X+Y)
    • Неотрицательная определенность. Пусть будет любым вектором. Тогда доказывает точку, используя основные свойства умножения матриц.λ
      λ(X+Y)λ=λXλ+λYλ0+0=0
  2. Я оставляю это как упражнение.

  3. Этот хитрый. Один метод, который я использую, чтобы продумать сложные матричные задачи, состоит в том, чтобы сделать некоторые вычисления с матрицы Есть несколько распространенных, знакомых ковариационных матриц такого размера, таких как с и . Проблема заключается в том, что может не быть определенным: то есть может ли он давать отрицательное значение при вычислении дисперсии? Если это произойдет, то нам лучше иметь некоторые отрицательные коэффициенты в матрице. Это предполагает рассмотрение для . Чтобы получить что-то интересное, мы могли бы изначально стремиться к матрицам2×2

    (abba)
    a2b2a0XY
    X=(a11a)
    a1Y с различными структурами. На ум приходят диагональные матрицы, такие как с . (Обратите внимание, как мы можем свободно выбирать некоторые коэффициенты, такие как и , потому что мы можем масштабировать все записи в любой ковариационной матрице без изменения ее фундаментальных свойств. Это упрощает поиск интересных примеров.)
    Y=(b001)
    b011

    Я оставляю вам задачу вычислить и проверить, всегда ли она является ковариационной матрицей для любых допустимых значений и .XYab

Whuber
источник
13

Вещественная матрица является ковариационной матрицей тогда и только тогда, когда она является симметричной положительной полуопределенной матрицей.

подсказки:

1) Если и симметричны, является ли симметричным? Если для любых и для любых , что вы можете сделать по поводу ?Y X + Y z T X z 0 z z T Y z 0 z z T ( X + Y ) zXYX+YzTXz0zzTYz0zzT(X+Y)z

2) Если симметричен, симметричен? Если собственные значения неотрицательны, что вы можете сделать вывод о собственных значениях ?X 2 X X 2XX2XX2

3) Если и симметричны, можете ли вы сделать вывод, что симметричен, или вы можете найти контрпример?Y X YXYXY

Марк Л. Стоун
источник