Как интерпретировать дифференциальную энтропию?

Недавно я прочитал эту статью об энтропии дискретного распределения вероятностей. Он описывает хороший способ восприятия энтропии как ожидаемых числовых битов (по крайней мере, при использовании в определении энтропии), необходимых для кодирования сообщения, когда ваша кодировка оптимальна, учитывая распределение вероятностей используемых вами слов.$\log_2$

Однако при распространении на непрерывный случай, как здесь, я считаю, что этот способ мышления нарушается, поскольку для любого непрерывного распределения вероятности p ( x ) (пожалуйста, исправьте меня, если это не так), поэтому я был интересно, есть ли хороший способ думать о том, что означает непрерывная энтропия, как в случае с дискретным случаем.$\sum_x p(x) = \infty$$p(x)$

Не существует интерпретации дифференциальной энтропии, которая была бы столь же значимой или полезной, как и энтропия. Проблема с непрерывными случайными переменными состоит в том, что их значения обычно имеют 0 вероятностей, и, следовательно, для кодирования потребуется бесконечное количество битов.

Если вы посмотрите на предел дискретной энтропии, измерив вероятность интервалов $[n\varepsilon, (n + 1)\varepsilon[$ , вы получите

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

а не дифференциальная энтропия. Эта величина в некотором смысле более значима, но будет расходиться до бесконечности, поскольку мы будем брать все меньшие и меньшие интервалы. Это имеет смысл, поскольку нам потребуется все больше и больше битов для кодирования, в какой из множества интервалов падает значение нашего случайного значения.

Более полезная величина для рассмотрения непрерывных распределений - это относительная энтропия (также дивергенция Кульбака-Лейблера). Для дискретных распределений:

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

$P$$-\log Q_2(x)$$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

так как $\log_2 \varepsilon$

$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$$n$$-\log \varepsilon$$\lambda$

Смотрите выступление Серхио Верду, чтобы познакомиться с относительной энтропией.