Для произвольной непрерывной случайной величины, скажем, , всегда ли ее дифференциальная энтропия меньше ? (Это нормально, если это .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем ?
entropy
information-theory
maximum-entropy
syeh_106
источник
источник
Ответы:
Я подумал над этим вопросом еще немного и сумел найти контрпример, благодаря также комментариям Петра выше. Ответ на первый вопрос - нет - дифференциальная энтропия непрерывной случайной величины (RV) не всегда меньше . Например, рассмотрим непрерывный RV X, pdf которого f ( x ) = log ( 2 )∞
дляx>2.
Нетрудно проверить, что его дифференциальная энтропия бесконечна. Хотя растет довольно медленно (прибл. Логарифмически).
По второму вопросу я не знаю простого необходимого и достаточного условия. Однако один частичный ответ заключается в следующем. Разделить непрерывный RV на один из следующих 3 типов на основе его поддержки, т.е.
Тип 1: непрерывный RV, носитель которого ограничен, т.е. содержится в [a, b].∞ −∞
Тип 2: непрерывный RV, носитель которого полуограничен, т. Е. Содержится в [a, ) или ( - ∞ , a] Тип 3: непрерывный RV, носитель которого неограничен.
Тогда у нас есть следующее -
Для RV типа 1 его энтропия всегда меньше , безусловно. Для RV типа 2 его энтропия меньше ∞ , если его среднее значение ( μ∞
∞ μ ) конечно. ∞ σ2
Для RV типа 3 его энтропия меньше , если его дисперсия ( σ 2 ) конечна.
Дифференциальная энтропия RV типа 1 меньше, чем у соответствующего равномерного распределения, т. , RV типа 2, у экспоненциального распределения, т.е. 1 + l o g ( | μ -log(b−a) и тип 3 RV с распределением Гаусса, т.е. 11+log(|μ−a|) .12log(2πeσ2)
Обратите внимание, что для RV типа 2 или 3 вышеуказанное условие является лишь достаточным условием . Например, рассмотрим тип 2 RV с длях>3. Ясно, что его среднее бесконечно, но его энтропия равна 3,1 нац. Или рассмотрим тип 3 RV с
источник