Как журнал (p (x, y)) нормализует точечную взаимную информацию?

Я пытаюсь понять нормализованную форму точечной взаимной информации.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Почему логарифмическая вероятность нормализует точечную взаимную информацию между [-1, 1]?

Точечная взаимная информация:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) ограничен [0, 1], поэтому log (p (x, y)) ограничен (, 0]. Кажется, что log (p (x, y)) должен каким-то образом сбалансировать изменения в числитель, но я не понимаю, как именно. Это также напоминает мне энтропию , но опять же я не понимаю точных отношений.$h=-log(p(x))$

Из википедии запись по точечной взаимной информации :

Точечная взаимная информация может быть нормализована между [-1, + 1], в результате чего -1 (в пределе) никогда не встречается вместе, 0 - независимость и +1 - полное совпадение.

Почему это происходит? Ну, определение точечно взаимной информации является

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

тогда как для нормализованной точечной взаимной информации это:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

Когда есть:

• нет совпадений, , поэтому nmpi равно -1,$\log p(x,y)\to -\infty$
• $\log p(x,y)= \log[p(x) p(y)]$
• $\log p(x,y)= \log p(x) = \log p(y)$

$[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$