Хорошее введение в различные виды энтропии

18

Я ищу книгу или онлайн-ресурс, который объясняет различные виды энтропии, такие как Sample Entropy и Shannon Entropy, а также их преимущества и недостатки. Может ли кто-нибудь указать мне правильное направление?

references entropy Кристиан
источник

9

Обложка и книга Томаса « Элементы теории информации» - хороший источник информации об энтропии и ее приложениях, хотя я не знаю, как она решает именно те проблемы, которые вы имеете в виду.

Марк Мекес
источник

4

Также в статье «Информационно-теоретические неравенства» Дембо Кавера и Томаса раскрывается много глубоких аспектов

Робин Джирард,

1

Тем не менее, ни одна из этих книг не утверждает, что существует более одной энтропии.

5

Эти лекционные заметки по теории информации О. Джонсона содержат хорошее введение в различные виды энтропии.

Alekk
источник

4

Если вас интересует математическая статистика по энтропии, вы можете обратиться к этой книге

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

это свободно доступно!

Робин Жирар
источник

2

Энтропия только одна (как концепция) - количество информации, необходимое для описания некоторой системы; Есть только много его обобщений. Выборочная энтропия - это только некоторый энтропийный дескриптор, используемый в анализе сердечного ритма.

источник

Я знаю, однако, что это не помогает мне решить, подходит ли использование данных энтропии, энтропии Шеннона или какого-либо другого вида энтропии для данных, с которыми я работаю.

Кристиан,

2

В своем посте я написал только то, что для определенного типа данных / процесса / системы существует только одно истинное определение энтропии. Образец энтропии - это не мера энтропии, это просто некоторая статистика с непонятным названием. Задайте вопрос, где вы определите данные, для которых вы хотите рассчитать энтропию, и получите формулу.

Я не заинтересован в правде, но в получении функции, которая работает. Я биоинформатик и научил не искать догматическую правду, а искать статистику, которая работает. Я не думаю, что есть работа с теми данными, с которыми я хочу работать, которые определяют, какая энтропия работает лучше всего. Вот почему я хочу работать с данными.

Кристиан

2

Да, но речь идет не о догматических истинах, а о словах. Вы спрашивали об энтропии, поэтому я ответил об энтропии. Потому что теперь я вижу, что вам действительно нужен ответ о дескрипторах временных рядов, напишите вопрос о дескрипторах временных рядов, и только тогда вы получите полезный ответ.

2

Джейнс показывает, как вывести энтропию Шеннона из основных принципов в своей книге .

$n!$ $n^n$

\frac{1}{n} \log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

Ярослав Булатов
источник

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

В статье Грюнвальда и Давида теория игр, максимальная энтропия, минимальное расхождение и надежная байесовская теория принятия решений обсуждаются обобщения традиционного понятия энтропии. Учитывая потерю, связанная с ней энтропийная функция представляет собой отображение распределения на минимально достижимую ожидаемую потерю для этого распределения. Обычная энтропийная функция - это обобщенная энтропия, связанная с потерями в журнале. Другие варианты потерь приводят к другой энтропии, такой как энтропия Реньи.

Марк Рейд
источник

1

Итак, сигма - это энтропия N (0, сигма), соответствующая квадрату ошибки, а min (p, 1-p) - энтропия Бернулли (p), соответствующая 0,1 прогнозируемой потере? Похоже, довольно обобщение!

Ярослав Булатов

Да. Энтропия для потери в квадрате постоянна, а энтропия для потери 0-1 является минимальной (p, 1-p). Также интересно то, что они также имеют сильное соответствие с расхождениями. Квадратная потеря для дивергенции Хеллингера и 0-1 потеря для вариационной дивергенции. Поскольку энтропии определены так, они обязательно являются вогнутыми функциями, и получается f-дивергенция, построенная с использованием f (p) = -энтропии (p). Боб Уильямсон и я изучили некоторые из них в нашей статье: arxiv.org/abs/0901.0356 . Это забавная штука.

Марк Рейд

1

Вот кое-что интересное, что я недавно обнаружил о расхождениях - каждый шаг распространения веры можно рассматривать как проекцию

Ярослав Булатов,

Хорошее введение в различные виды энтропии

Ответы: