Как энтропия зависит от местоположения и масштаба?

Энтропии непрерывного распределения с функцией плотности $f$ определяются как негатив ожидания $\log(f),$ и , следовательно , равны

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Мы также говорим, что любая случайная величина $X$ , распределение которой имеет плотность $f$ имеет энтропию $H_f.$ (Этот интеграл является четким, даже если $f$ имеет нули, потому что $\log(f(x))f(x)$ можно принять равным нулю при таких значениях.)

Когда $X$ и $Y$ являются случайными переменными, для которых $Y = X+\mu$ ( $\mu$ является константой), $Y$ называется версией $X$ смещенной на $\mu.$ Точно так же, когда $Y = X\sigma$ ( $\sigma$ - положительная постоянная), $Y$ называется версией $X$ масштабированной по $\sigma.$Объединение шкалы со сдвигом дает $Y=X\sigma + \mu.$

Эти отношения встречаются часто. Например, изменение единиц измерения $X$ сдвигает и масштабирует его.

Как энтропия $Y = X\sigma + \mu$ связана с энтропией $X?$

Поскольку элемент вероятности $X$ равен $f(x)\mathrm{d}x,$ изменение переменной $y = x\sigma + \mu$ эквивалентно $x = (y-\mu)/\sigma,$ откуда

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

отсюда следует , что плотность $Y$ является

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Следовательно, энтропия $Y$ является

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

которая, при изменении переменной обратно к $x = (y-\mu)/\sigma,$ производит

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

$f(x)\mathrm{d}x$

Вывод

$Y = X\sigma + \mu$$X$$\log(\sigma).$

$\sigma \ge 1$$\log(\sigma).$

---

$\mu$$\sigma$$(\mu,\sigma)$$\mu=0$$\sigma=1.$

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

откуда

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

$(\mu,\sigma)$$\log\sigma$

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

как сообщает Википедия .