Может ли значение взаимного получения информации быть больше 1?

У меня есть очень основные сомнения. Извините, если это немного раздражает. Я знаю, что значение Взаимной информации должно быть больше 0, но должно ли оно быть меньше 1? Это ограничено каким-либо верхним значением?

Спасибо, Амит.

information-theory mutual-information Amit
источник

Ответы:

Да, у него есть верхняя граница, но не 1.

Взаимной информации (в битах) является 1 , когда две стороны (статистически) доля один бит информации. Однако они могут делиться произвольно большими данными. В частности, если они разделяют 2 бита, то это 2.

$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Петр Мигдаль
источник

Если две стороны являются двоичными переменными, т. Е. Каждая имеет только два возможных результата {0,1} , то энтропии макс. В когда и . Таким образом, максимальная взаимная информация для двух двоичных переменных равна

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

Аксели Пален