Как рассчитать взаимную информацию?

10

Я немного смущен. Может ли кто-нибудь объяснить мне, как рассчитать взаимную информацию между двумя терминами на основе матрицы терминов-документов с использованием двоичных терминов в виде весов?

WhyHowWhenWhereDocument11111Document21010Document31110

I(X;Y)=yYxXp(x,y)log(p(x,y)p(x)p(y))

Спасибо

user18075
источник
Что такое и Y ? XY
Дилип Сарватэ
X и Y являются терминами. X может быть «почему», а Y может быть «как».
user18075 29.12.12

Ответы:

7

I(X,Y)=H(X)+H(Y)H(X,Y).
Зоран
источник
1
H(X)H(Y)H(X,Y)p(x,y),p(x)p(y)
2
формулы эквивалентны, за исключением того, что последние могут быть более понятными на первый взгляд.
Зоран