Есть ли польза для величины

13

Есть ли какое-либо применение для количества в статистике или теории информации?

е(Икс)2dИкс
charles.y.zheng
источник
5
Реньи энтропия
кардинал
f это PDF, верно?
whuber
Да, это плотность. f
charles.y.zheng
@cardinal Ответ!
@mbq: Хорошо, я постараюсь чуть позже напечатать что-нибудь, что заслуживает ответа. :)
кардинал

Ответы:

24

Полагая обозначает функцию плотности вероятности (либо по отношению к Лебегу или счетной мере, соответственно), количество известен как энтропия Реньи порядка . Это обобщение энтропии Шеннона, которая сохраняет многие из тех же свойств. Для случая мы интерпретируем как , и это соответствует стандартной энтропии Шеннона .е α0α=1H1(f)limα1Hα(f)H(f)

ЧАСα(е)знак равно-1α-1журнал(еαdμ)
α0αзнак равно1ЧАС1(е)Итα1ЧАСα(е)ЧАС(е)

Рени представил это в своей статье

А. Рени, О мерах информации и энтропии , Учеб. 4-й Беркли Симп. по математике, стат. и проб. (1960), с. 547–561.

что стоит прочитать не только за идеи, но и за образцовый стиль экспозиции.

Случай является одним из наиболее распространенных вариантов для и этот частный случай (также) часто называют энтропией Реньи. Здесь мы видим, что для случайная величина, распределенная с плотностью .α H 2 ( f ) = - log ( f 2 d μ ) = - log ( E f ( X ) ) fαзнак равно2α

ЧАС2(е)знак равно-журнал(е2dμ)знак равно-журнал(Ее(Икс))
е

Обратите внимание, что - выпуклая функция, и поэтому по неравенству Дженсена где правая часть обозначает энтропию Шеннона. Следовательно, энтропия Реньи дает нижнюю границу для энтропии Шеннона и во многих случаях ее легче вычислить.-журнал(Икс)

ЧАС2(е)знак равно-журнал(Ее(Икс))Е(-журнале(Икс))знак равно-Ежурнале(Икс)знак равноЧАС(е)

Другой естественный случай, когда возникает энтропия Реньи, - это рассмотрение дискретной случайной величины и независимой копии . В некоторых сценариях мы хотим знать вероятность того, что , что по элементарному вычислению равно ИксИксИксзнак равноИкс

п(Иксзнак равноИкс)знак равноΣязнак равно1п(Иксзнак равноИкся,Иксзнак равноИкся)знак равноΣязнак равно1п(Иксзнак равноИкся)п(Иксзнак равноИкся)знак равное-ЧАС2(е),

Здесь обозначает плотность по отношению к счетной мере на множестве значений .еΩзнак равно{Икся:яN}

(Общая) энтропия Реньи, по-видимому, также связана со свободной энергией системы в тепловом равновесии, хотя я лично не в курсе этого. (Очень) недавняя статья на эту тему

JC Baez, Энтропия Реньи и свободная энергия , arXiv [Quant-Ph] 1101.2098 (февраль 2011).

кардинальный
источник
Я действительно использовал энтропию Реньи вместо энтропии Шеннона; приятно видеть подтверждение моей интуиции. Спасибо за поучительный ответ.
charles.y.zheng
1
Многие (но не все!) Свойства и полезность энтропии Шеннона обусловлены ее выпуклостью. Если вы посмотрите на создание базовых результатов в теории информации, они более или менее зависят от неравенства Дженсена. Таким образом, в определенном (расплывчатом) смысле не слишком много (ужасно) особенного в отношении как особой нелинейности, которая приводит к понятию «информация». -журналИкс
кардинал
1
Понимаю. В частности, мне нужно свойство, чтобы максимальное энтропийное совместное распределение, которое удовлетворяло данным маргиналам, было произведением маргиналов (что вы получили бы от независимости.)
charles.y.zheng