Об энтропии суммы

Ищу ограничение на энтропии суммы двух независимых дискретных случайных величин и . Естественно, Однако применительно к сумме независимых бернуллиевских случайных величин это дает Другими словами, граница увеличивается линейно с при многократном применении. Однако поддерживается для набора размера , поэтому его энтропия не больше . На самом деле, по центральной предельной теореме, я предполагаю, что $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$ так как он по существу поддерживается на наборе размера .

\sqrt{n}

$\sqrt{n}$

Короче говоря, граница в этой ситуации значительно превышает. Просматривая этот пост в блоге , я понял, что возможны все виды границ ; есть ли граница, которая дает правильную асимптотику (или, по крайней мере, более разумную асимптотику) при многократном применении к сумме случайных величин Бернулли? $(*)$ $H(X+Y)$

it.information-theory shannon-entropy Robinson
источник

Я не уверен, что вы действительно спрашиваете. Если вы хотите получить верхнюю оценку H (X + Y) в терминах H (X) и H (Y), которая применима к любым двум независимым дискретным случайным величинам X и Y, то H (X + Y) ≤H (X) ) + H (Y) явно лучшее, что вы можете получить; рассмотрим случай, когда суммы x + y различны, когда x лежит в области поддержки X, а y - в области поддержки Y. Если вы примените эту общую оценку к очень особому случаю, то естественно, что вы получите очень свободная связь.

Tsuyoshi Ito

@TsuyoshiIto - хорошо, одна возможность для ответа, который был бы отличным, - это неравенство типа где слагаемые после минуса равны нулю в случае, если вы описать и сложить, чтобы дать лучшее масштабирование с в случае суммы случайных величин Бернулли ...

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

Робинсон

... мне кажется, что существование неравенств, подобных делает хотя бы правдоподобным ответ, который я ищу, существует.

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

Робинсон

Это означает, что то, что вы ищете, не является верхней границей H (X + Y) в терминах H (X) и H (Y) . Пожалуйста, отредактируйте вопрос.

Tsuyoshi Ito

я думаю, что в случае, когда дисперсия каждого мала по сравнению с ваше предположение является правильным ответом, и его нетрудно уточнить, используя теорему Берри-Эссеена

Z_{i}

$Z_i$

n

$n$

Сашо Николов

Может быть, вы могли бы использовать уравнение:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

Это выглядело бы как термин, который вы упомянули в комментариях, к сожалению, я не знаю результатов о количестве отрицательных терминов или глубоких границах для них.

стог
источник

Об энтропии суммы

Ответы: