Всегда ли дифференциальная энтропия меньше бесконечности?

14

Для произвольной непрерывной случайной величины, скажем, X , всегда ли ее дифференциальная энтропия меньше ? (Это нормально, если это .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем ?

syeh_106
источник
1
Вы пробовали какие-нибудь примеры? Мол, равномерное распределение на отрезке длины ? L
Петр Мигдаль,
Действительно, дифференциальная энтропия равномерного распределения (на любом конечном интервале) всегда конечна, т. Е. Log (L), следовательно, ограничена. Фактически, я мог бы идентифицировать 2 класса непрерывных распределений, энтропия которых всегда ограничена - (1) любое распределение, носитель которого содержится в конечном интервале, и (2) любое распределение, чей 2-й момент конечен. Первый ограничен равномерным распределением; в то время как последний ограничен распределением Гаусса.
syeh_106
Фактически, я также могу построить распределение с бесконечным 2-м моментом и все еще иметь конечную энтропию. Например, рассмотрим f (x) = 3 / (x ^ 2), x> 3. Ясно, что E [X ^ 2] бесконечно, но h (X) ~ = -3,1 нац. Однако я не смог подтвердить, верно ли это для произвольных непрерывных случайных величин, или придумать контрпример, чтобы опровергнуть это. Я действительно оценил бы это, если бы кто-то мог показать это.
syeh_106
1
Спасибо за ваши комментарии и ссылки, Петр. Между прочим, я также проверил один из моих материалов курса и нашел точно такой же пример дискретной случайной величины со счетно бесконечной поддержкой. По этой причине нетрудно построить непрерывный аналог. Так что ответ на первый вопрос очевиден. Я обобщу это ниже для других людей, у которых может быть тот же самый вопрос. Кстати, мне нужно внести поправку в мой второй комментарий выше, в частности, для f (x) = 3 / (x ^ 2), h (X) должен быть положительным, то есть 3.1 натс.
syeh_106
2
Этот вопрос и ответ неоднозначны, поскольку в них не указано, какие наборы границ должны применяться. Если - RV, то у него есть энтропия, период. Если это «произвольный» непрерывный RV, то (очевидно) верхняя граница невозможна. Какие ограничения вы намереваетесь наложить на X ? Судя по комментариям и вашему ответу, вы можете исправить поддержку X - или нет? Возможно, вы хотите ограничить X этими переменными с заданными границами в определенные моменты? Возможно, вы хотите, чтобы X был в параметрической семье, а может и нет? Пожалуйста, отредактируйте этот вопрос, чтобы уточнить. XXXXX
whuber

Ответы:

11

Я подумал над этим вопросом еще немного и сумел найти контрпример, благодаря также комментариям Петра выше. Ответ на первый вопрос - нет - дифференциальная энтропия непрерывной случайной величины (RV) не всегда меньше . Например, рассмотрим непрерывный RV X, pdf которого f ( x ) = log ( 2 ) дляx>2.

f(x)=log(2)xlog(x)2
x>2

Нетрудно проверить, что его дифференциальная энтропия бесконечна. Хотя растет довольно медленно (прибл. Логарифмически).

По второму вопросу я не знаю простого необходимого и достаточного условия. Однако один частичный ответ заключается в следующем. Разделить непрерывный RV на один из следующих 3 типов на основе его поддержки, т.е.

Тип 1: непрерывный RV, носитель которого ограничен, т.е. содержится в [a, b].
Тип 2: непрерывный RV, носитель которого полуограничен, т. Е. Содержится в [a, ) или ( - , a] Тип 3: непрерывный RV, носитель которого неограничен.

Тогда у нас есть следующее -

Для RV типа 1 его энтропия всегда меньше , безусловно. Для RV типа 2 его энтропия меньше , если его среднее значение ( μ
μ ) конечно.
Для RV типа 3 его энтропия меньше , если его дисперсия ( σ 2 ) конечна.σ2

Дифференциальная энтропия RV типа 1 меньше, чем у соответствующего равномерного распределения, т. , RV типа 2, у экспоненциального распределения, т.е. 1 + l o g ( | μ -log(ba) и тип 3 RV с распределением Гаусса, т.е. 11+log(|μa|) .12log(2πeσ2)

Обратите внимание, что для RV типа 2 или 3 вышеуказанное условие является лишь достаточным условием . Например, рассмотрим тип 2 RV с длях>3. Ясно, что его среднее бесконечно, но его энтропия равна 3,1 нац. Или рассмотрим тип 3 RV с

f(x)=3x2
x>3 для| х| >3. Его дисперсия бесконечна, но энтропия составляет 2,6 натс. Так что было бы здорово, если бы кто-то смог дать полный или более элегантный ответ на эту часть.
f(x)=9|x|3
|x|>3
syeh_106
источник
1
Большой! По SE комментарии не считаются постоянными (если они актуальны) и должны быть включены в ответ. То же самое относится и к ссылкам на материалы (чтобы либо доказать / показать что-либо, либо дать ссылку на него, а не просто сказать). BTW: для моментов, когда я вижу конечный момент (для любого альфа > 0 ) приводит к ограниченной энтропии (я просто понял , что это, посмотрев объявление доказательства для дисперсии). xαα>0
Петр Мигдаль
Спасибо, Петр, за советы о политике SE. (Да, я, очевидно, новичок здесь.) О конечных моментах, ведущих к ограниченной энтропии, вы бы поделились своим доказательством? Благодарность!
syeh_106
@PiotrMigdal Я планирую оставить ответ на этот вопрос в его текущем состоянии после добавления последнего штриха. По мотивам вышеприведенного комментария Петра я подумал, приводит ли конечное среднее к конечной энтропии. Я не мог заключить это в целом. То, что я действительно нашел, - то, что это было верно, если поддержка RV является полуограниченной. Пожалуйста, смотрите исправленный ответ выше. Я с нетерпением жду лучшего ответа от кого-нибудь когда-нибудь.
syeh_106
«Нетрудно убедиться, что ее дифференциальная энтропия бесконечна». Можете показать, как это проверить? Это кажется верным для интеграла Римана, но дифференциальная энтропия относится к мере Лебега. У меня проблемы с проверкой того, что соответствующий интеграл Лебега не сходится.
канторхед
1
XE[X]H(X)=log(4π)