Дифференциальная энтропия

Я попробую это сделать, хотя это немного над моей головой, так что побалуйте насыпью соли ...

Ты не совсем неправ. Я думаю, что если ваш мысленный эксперимент провалится, то дифференциальная энтропия не является ограничивающим случаем энтропии. Я предполагаю, что из-за этого параллели между ним и колмогоровской сложностью потеряны.

Допустим, мы имеем дискретную случайную величину . Мы можем вычислить его энтропию Шеннона следующим образом, суммируя по всем возможным значениям , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Пока все так скучно. Теперь предположим, что является квантованной версией непрерывной случайной величины - скажем, у нас есть функция плотности которая генерирует выборки из набора действительных чисел, и мы превращаем это в гистограмму. У нас будет достаточно тонкая гистограмма, чтобы функция плотности была по существу линейной. В этом случае у нас будет энтропия что-то вроде этого, где - ширина бинов нашей гистограммы, а - середина каждого. У нас есть продукт внутри этого логарифма - давайте выделим его и используем свойство вероятностных распределений, суммирующих 1, чтобы вывести его за пределы суммирования, давая нам $X$ $p()$

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

Если мы берем предел, позволяя и превращаем суммирование в интегрирование, наше приближение становится точным, и мы получаем следующее: $\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

Термин с правой стороны является дифференциальной энтропией. Но посмотрите на этот ужасный термин . Мы должны игнорировать это, чтобы все наши ответы не были NaN. Боюсь, это означает, что дифференциальная энтропия не является ограничивающим случаем энтропии Шеннона. $\log \big( dx \big)$

Итак, мы теряем некоторые свойства. Да, изменение масштаба ваших данных изменяет дифференциальную энтропию - дифференциальная энтропия является своего рода мерой того, насколько «тесно упакован» PDF-файл. Если вы измените масштаб, это изменится. Еще одно интересное свойство в том, что оно может стать отрицательным, в отличие от энтропии Шеннона - попробуйте установить действительно очень маленьким и посмотреть, что произойдет. Потеря связи со сложностью Колмогорова, я думаю, просто очередная жертва. $\sigma$

К счастью, мы не совсем потеряны. Расхождения Кульбака – Лейблера и, как следствие, взаимная информация, ведут себя довольно хорошо, так как все delta'ы исключают. Например, вы можете вычислить где - некоторое эталонное распределение - скажем, единый. Это всегда положительно, и когда вы масштабируете переменную она меняет и и , поэтому результаты намного менее серьезны. $\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

похлопывание
источник

Благодарю. Это очень интересно. Я не знал, что в теории был такой трюк.

Кагдас Озгенц

Обозначение самом деле не очень значимо, но мы можем превратить некоторые из ваших рассказов во что-то более точное. Действительно, если плотность интегрируема по Риману, то при . Интерпретация этого, которую вы часто будете видеть, состоит в том, что битное квантование непрерывной случайной величины имеет энтропию около .

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

кардинал

@Cardinal. Да, я знал, что было ужасно странной вещью, о которой я говорил, когда писал ее. Тем не менее, я думаю, что подобный подход действительно помогает понять, почему дифференциальная энтропия действительно не является энтропией.

\log (d x)

$\log(d x)$

Пэт

@Cagdas - я не знаю, если бы я назвал это трюком. Это просто измерение другого. И, как указывает кардинал, он имеет некоторое применение. Что касается того, сломается ли он при применении к биноминальному распределению, ну, зависит от того, как вы собираетесь его применять :). Вероятно, стоит начать новую тему, если вы не уверены.

Пэт

Я думал, что энтропия, очевидно, отличается от колмогоровской сложности, если рассматривать генераторы псевдослучайных чисел.

Джеймс Бауэри

Дифференциальная энтропия

Ответы: