Информационно-теоретическая центральная предельная теорема

Простейшая форма информационно-теоретического CLT заключается в следующем:

Пусть будут iid со средним и дисперсией 1 . Пусть f_n - плотность нормализованной суммы \ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}}, а \ phi - стандартная гауссовская плотность. Тогда теоретико-информационный CLT утверждает, что если D (f_n \ | \ phi) = \ int f_n \ log (f_n / \ phi) dx конечно для некоторого n , то D (f_n \ | \ phi) \ до 0 при n \ до \ инфты .$X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Конечно, эта конвергенция, в некотором смысле, «сильнее», чем хорошо установленные в литературе конвергенции, конвергенция в распределении и конвергенция в $L_1$ метрике, благодаря неравенству Пинскера $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . То есть сходимость в KL-дивергенции подразумевает сходимость в распределении и сходимость на расстоянии $L_1$ .

Я хотел бы знать две вещи.

1. Что такого замечательного в результате $D(f_n\|\phi)\to 0$ ?

2. Это только по причине , указанной в третьем абзаце мы говорим , конвергенция в KL-дивергенции ( т.е. , $D(f_n\|\phi)\to 0$ ) сильнее?

NB: я задал этот вопрос некоторое время назад в math.stackexchange, где я не получил никакого ответа.

Что хорошо в этой теореме, так это то, что она предлагает предельные теоремы в некоторых случаях, когда обычная центральная предельная теорема неприменима. Например, в ситуациях, когда максимальное распределение энтропии - это некое ненормальное распределение, например, для распределений на окружности, это предполагает сходимость к равномерному распределению.

Посмотрев вокруг, я не смог найти ни одного примера конвергенции в распределении без конвергенции в относительной энтропии, поэтому трудно измерить «величие» этого результата.

Мне кажется, этот результат просто описывает относительную энтропию продуктов свертки. Его часто рассматривают как альтернативную интерпретацию и доказательную основу центральной предельной теоремы, и я не уверен, что она имеет прямое отношение к теории вероятностей (даже если это имеет место в теории информации).

Из теории информации и центральной предельной теоремы (стр. 19).

Второй закон термодинамики гласит, что термодинамическая энтропия всегда увеличивается со временем, что подразумевает некоторую сходимость к состоянию Гиббса. Сохранение энергии означает, что остается постоянным в течение этой временной эволюции, поэтому мы можем с самого начала сказать, какое состояние Гиббса будет пределом. Мы рассмотрим центральную предельную теорему таким же образом, показав, что теоретико-информационная энтропия возрастает до максимума по мере того, как мы принимаем свертки, что подразумевает сходимость к гауссову. Соответствующая нормализация означает, что дисперсия остается постоянной во время свертки, поэтому мы можем с самого начала определить, какой гауссов будет пределом.$E$

$D(f_n\|\phi)\rightarrow 0$ гарантирует, что не существует «расстояния» между распределением суммы случайных величин и гауссовой плотностью как только из-за определения дивергенции KL, так что это доказательство сам. Возможно, я неправильно понял ваш вопрос.$n\rightarrow\infty$

Что касается второго пункта, как вы назначили, он ответил в вашем пункте.