Есть ли польза для величины

Есть ли какое-либо применение для количества в статистике или теории информации?

$$\int f(x)^2 dx$$

Полагая обозначает функцию плотности вероятности (либо по отношению к Лебегу или счетной мере, соответственно), количество известен как энтропия Реньи порядка . Это обобщение энтропии Шеннона, которая сохраняет многие из тех же свойств. Для случая мы интерпретируем как , и это соответствует стандартной энтропии Шеннона .$f$$\newcommand{\rd}{\mathrm{d}}$ α≥0α=1H1(f)limα→1Hα(f)H(f

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Рени представил это в своей статье

А. Рени, О мерах информации и энтропии , Учеб. 4-й Беркли Симп. по математике, стат. и проб. (1960), с. 547–561.

что стоит прочитать не только за идеи, но и за образцовый стиль экспозиции.

Случай является одним из наиболее распространенных вариантов для и этот частный случай (также) часто называют энтропией Реньи. Здесь мы видим, что для случайная величина, распределенная с плотностью .α H 2 ( f ) = - log ( ∫ f 2 d μ ) = - log ( E f ( X ) )$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

Обратите внимание, что - выпуклая функция, и поэтому по неравенству Дженсена где правая часть обозначает энтропию Шеннона. Следовательно, энтропия Реньи дает нижнюю границу для энтропии Шеннона и во многих случаях ее легче вычислить.$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

Другой естественный случай, когда возникает энтропия Реньи, - это рассмотрение дискретной случайной величины и независимой копии . В некоторых сценариях мы хотим знать вероятность того, что , что по элементарному вычислению равно $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

Здесь обозначает плотность по отношению к счетной мере на множестве значений .$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

(Общая) энтропия Реньи, по-видимому, также связана со свободной энергией системы в тепловом равновесии, хотя я лично не в курсе этого. (Очень) недавняя статья на эту тему

JC Baez, Энтропия Реньи и свободная энергия , arXiv [Quant-Ph] 1101.2098 (февраль 2011).