Что такое эмпирическая энтропия?

В определении совместно типичных множеств (в «Элементах теории информации», гл. 7.6, с. 195) мы используем

- \frac{1}{N} журнал п ({Икс}^{N})

$-\frac{1}{n} \log{p(x^n)}$ в качестве эмпирической энтропии в качестве -sequence с . Я никогда не сталкивался с этой терминологией раньше. Это нигде не определено явно согласно индексу книги.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Мой вопрос в основном таков: почему эмпирическая энтропия отсутствует где - эмпирическое распределение? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Каковы наиболее интересные различия и сходства между этими двумя формулами? (с точки зрения свойств они разделяют / не разделяют).

information-theory entropy blubb
источник

Разве два выражения не алгебраически равны?

whuber

@whuber: Нет, я думаю, что это разные количества с разными целями. Обратите внимание, что первая использует истинную меру предполагаемую известным априори. Второго нет.

p

$p$

кардинал

Первый касается накопления энтропии с течением времени и ее сравнения с истинной энтропией системы. SLLN и CLT много рассказывают о том, как они себя ведут. Второе касается оценки энтропии по данным, и некоторые из ее свойств также могут быть получены с помощью тех же двух инструментов, которые только что упомянуты. Но, в то время как первое объективно, второе не под любым . Я могу заполнить некоторые детали, если это будет полезно.

p

$p$

кардинал

@cardinal: Если бы вы предоставили приведенный выше комментарий в качестве ответа (возможно, также объясните, что такое SLLN и CLT? - Я не знаю их), я бы с удовольствием поднял голосование ...

blubb

Хорошо, я постараюсь опубликовать больше позже. Тем временем, SLLN = "Сильный закон больших чисел" и CLT = "Центральная предельная теорема". Это довольно стандартные сокращения, с которыми вы, вероятно, столкнетесь снова. Приветствия. :)

кардинал

Ответы:

Если данные имеют вид , то есть -последовательность из выборочного пространства , вероятности эмпирических точек составляют: для . Здесь - единица, если и ноль в противном случае. Таким образом, - это относительная частота в наблюдаемой последовательности. Энтропии распределения вероятностей задается эмпирической точки вероятностей $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$

\hat{п} (Икс) знак равно \frac{1}{N} | {я | {Икс}_{я} знак равно Икс} | знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} δ_{Икс} ({Икс}_{я})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

ЧАС (\hat{п}) знак равно - \underset{Икс \in Икс}{Σ} \hat{п} (Икс) журнал \hat{п} (Икс) знак равно - \underset{Икс \in Икс}{Σ} \frac{1}{N} Σ_{я знак равно 1}^{N} δ_{Икс} ({Икс}_{я}) журнал \hat{п} (Икс) знак равно - \frac{1}{N} Σ_{я знак равно 1}^{N} журнал \hat{п} ({Икс}_{я}),

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$ Последняя идентичность следует, поменяв две суммы и отметив, что Отсюда видно, что с и используя терминологию из вопроса, это эмпирическая энтропия эмпирического распределения вероятностей . Как отметил @cardinal в комментарии,

\underset{Икс \in Икс}{Σ} δ_{Икс} ({Икс}_{я}) журнал \hat{п} (Икс) знак равно журнал \hat{п} ({Икс}_{я}),

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

ЧАС (\hat{п}) знак равно - \frac{1}{N} журнал \hat{п} ({Икс}^{N})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$ является эмпирической энтропией данного распределения вероятностей с точечными вероятностями .

p

$p$

NRH
источник

(+1) Это дает хорошую иллюстрацию того, что Ковер и Томас называют «странным самоссылочным персонажем» энтропии. Тем не менее, я не уверен, что ответ на самом деле решает (напрямую) очевидные проблемы ОП. :)

кардинал

@ Cardinal, я знаю, и ответ был просто длинным комментарием, чтобы подчеркнуть эту особенность. Я не хотел повторять ваши пункты.

NRH

Вы не должны чувствовать себя плохо или не стесняйтесь оставлять свой собственный ответ, включая расширение моих комментариев или комментариев других. Я особенно медленно и плохо пишу ответы и никогда не буду обижаться, если вы или другие публикуете ответы, которые включают аспекты вещей, которые я, возможно, ранее кратко прокомментировал. Наоборот, на самом деле. Приветствия.

кардинал

Энтропия определяется для вероятностных распределений. Когда у вас нет данных, а есть только данные, и вы подключаете наивный оценщик распределения вероятностей, вы получаете эмпирическую энтропию. Это проще всего для дискретных (полиномиальных) распределений, как показано в другом ответе, но также может быть сделано для других распределений с помощью биннинга и т. Д.

Проблема с эмпирической энтропией состоит в том, что она смещена для небольших выборок. Наивная оценка распределения вероятностей показывает дополнительное изменение из-за шума выборки. Конечно, можно использовать лучшую оценку, например, подходящий априорный показатель для полиномиальных параметров, но получить его по-настоящему беспристрастно непросто.

Вышесказанное относится и к условным распределениям. Кроме того, все относительно биннинга (или ядра), так что у вас действительно есть своего рода дифференциальная энтропия.

scellus
источник

Мы должны быть осторожны с тем, что мы называем здесь эмпирической энтропией . Обратите внимание, что оценщик подключаемого модуля всегда имеет низкое смещение для всех размеров выборки, хотя смещение будет уменьшаться по мере увеличения размера выборки. Получить объективную оценку энтропии не только сложно , но и невозможно в общем случае. В последние несколько лет в этой области проводились довольно интенсивные исследования, особенно в литературе по нейронауке. На самом деле существует множество отрицательных результатов.

кардинал