Как интерпретировать обратную ковариацию или прецизионную матрицу?

65

Мне было интересно, может ли кто-нибудь указать мне некоторые ссылки, которые обсуждают интерпретацию элементов обратной ковариационной матрицы, также известной как матрица концентрации или прецизионная матрица.

У меня есть доступ к многовариантным зависимостям Кокса и Вермута , но мне нужна интерпретация каждого элемента в обратной матрице. Википедия утверждает : «Элементы матрицы точности имеют интерпретацию с точки зрения частичных корреляций и частичных дисперсий», что приводит меня к этой странице. Есть ли интерпретация без использования линейной регрессии? IE, с точки зрения ковариаций или геометрии?

Винь Нгуен
источник
4
Вы прочитали всю страницу Википедии? Для нормального распределения есть раздел, посвященный геометрии и условной независимости. Вы можете найти больше в этой книге .
NRH
@NRH Геометрия объясняется на странице частичной корреляции, которую я даже не уверен, как она относится к матрице концентрации. Есть ли в этой книге графических моделей объяснение элементов матрицы концентрации? Спасибо!
Вин Нгуен
смотрите ответ ниже.
NRH

Ответы:

34

Есть в основном две вещи, которые нужно сказать. Во-первых, если вы посмотрите на плотность для многомерного нормального распределения (со средним значением 0 здесь), оно пропорционально где является обратной к ковариационной матрице, также называемой точностью. Эта матрица положительно определена и определяет с помощью в скалярное произведение на . Результирующая геометрия, которая придает особое значение понятию ортогональности и определяет норму, относящуюся к нормальному распределению, важна, и для понимания, например, геометрического содержания LDA, вам нужно посмотреть на вещи в свете данной геометрии по

exp(12xTPx)
P=Σ1
(x,y)xTPy
RpP .

Еще одна вещь, которую нужно сказать, это то, что частичные корреляции могут быть считаны непосредственно из , см. Здесь . На той же странице Википедии дается, что частичные корреляции и, следовательно, записи имеют геометрическую интерпретацию в терминах косинуса к углу. Что, возможно, более важно в контексте частичных корреляций, так это то, что частичная корреляция между и равна 0 тогда и только тогда, когда запись в равна нулю. Для нормального распределения переменных и затем условно независимыPPXiXji,jPXiXjучитывая все остальные переменные. Это то, чем посвящена книга Штеффенса, о которой я упоминал в комментарии выше. Условная независимость и графические модели. Он имеет довольно полную трактовку нормального распределения, но может быть не так легко следовать.

NRH
источник
1
Извините, я немного запутался в отношении формулы Википедии для частичной корреляции; Я видел несколько реализаций, принимающих (со знаком минус). Вы уверены, что формула Википедии верна? pijpiipjj
Sheljohn
1
@ Sh3ljohn, ты совершенно прав. В формуле Википедии отсутствует минус.
NRH
Разве первый ответ не говорит больше об информации Фишера, чем о точной матрице? Я имею в виду, что они совпадают в действительно особом / хорошем гауссовском случае, но в целом они не совпадают. Очевидно, что эти два понятия взаимосвязаны (нижняя граница Крамера-Рао, асимптотическое распределение MLE и т. Д.), Но не представляется целесообразным объединять их (в частности, я пришел к этому вопросу в поисках его вопроса о том, как отличить информацию Фишера от матрица обратной корреляции).
Chill2Macht
24

Мне нравится эта вероятностная графическая модель, чтобы проиллюстрировать точку зрения NRH о том, что частичная корреляция равна нулю тогда и только тогда, когда X условно не зависит от Y с учетом Z, при условии, что все задействованные переменные являются многомерными гауссовскими (свойство не выполняется в общем случае) :

введите описание изображения здесь

( - случайные гауссовы переменные; игнорировать T и k)yi

Источник: доклад Дэвида Маккея об основах гауссовского процесса , 25-я минута.

Франк Дернонкур
источник
12

Интерпретация, основанная на частичных корреляциях, является, вероятно, наиболее статистически полезной, поскольку она применяется ко всем многомерным распределениям. В частном случае многомерного нормального распределения нулевая частичная корреляция соответствует условной независимости.

Вы можете получить эту интерпретацию, используя дополнение Шура, чтобы получить формулу для элементов матрицы концентрации в терминах элементов матрицы ковариации. См. Http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

vqv
источник
11

Ковариационная матрица может представлять отношение между всеми переменными, в то время как обратная ковариантность отражает отношение элемента с их соседями (как в википедии сказано частичное / парное отношение).

Я заимствую следующий пример отсюда в 24:10, представьте, что 5 масс соединены вместе и гласная вокруг с 6 пружинами, ковариационная матрица будет содержать корреляцию всех масс, если одна пойдет правильно, другие тоже могут пойти правильно. но обратная ковариационная матрица определяет отношение тех масс, которые связаны одной и той же пружиной (соседями), и содержит много нулей и не является обязательным положительным.

user4581
источник
1
Где это объясняется в видео? Это час. Спасибо!
Вин Нгуен
Вы правы, это 24:10, я думаю, что это лучший пример, чтобы понять природу матрицы cov и ее обратной
user4581
5

Бар-Шалом и Фортманн (1988) упоминают обратную ковариацию в контексте фильтрации Калмана следующим образом:

... [T] здесь рекурсия для обратной ковариации (или информационной матрицы )

P1(k+1|k+1)=P1(k+1|k)+H(k+1)R1(k+1)H(k+1)

... Действительно, полный набор уравнений прогнозирования и обновления, известный как информационный фильтр [8, 29, 142], может быть разработан для обратной ковариации и вектора преобразованного состояния .P1x^

Книга проиндексирована в Google .

яркая звезда
источник