Какова роль логарифма в энтропии Шеннона?

72

Энтропия Шеннона является отрицательной суммой вероятностей каждого результата, умноженной на логарифм вероятностей для каждого результата. Какой цели служит логарифм в этом уравнении?

Интуитивно понятный или визуальный ответ (в отличие от глубоко математического ответа) получит бонусные баллы!

entropy intuition sequence-analysis histelheim
источник

11

Вам (или другим читателям) могут понравиться: A. Renyi (1961), « О мерах энтропии и информации» , Proc. Четвертого симпозиума в Беркли по математической статистике и вероятности , вып. 1, 547-561.

кардинал

Исходя из вашей реакции , я предполагаю, что вы имеете в виду, почему Шеннон использовал логарифм в своей формуле, верно?

Ooker

@Ooker: Это один из способов выразить это. «Зачем» он это вставил? «Что« это - функция или роль »?« Что »это дает?« Как »это полезно? Мне все это в одном районе ...

histelheim

Посмотрите на мой ответ здесь: stats.stackexchange.com/questions/66186/…

kjetil b halvorsen

Посмотрите мой ответ, я думаю, что значение журнала может быть действительно понято только путем изучения корней энтропии Шеннона в статистической механике

Аксакал

51

Энтропия Шеннона - это величина, удовлетворяющая множеству отношений.

Короче говоря, логарифм состоит в том, чтобы заставить его расти линейно с размером системы и «вести себя как информация».

Первый означает , что энтропия бросании монеты раз в раз энтропия бросании монеты: $n$ $n$

- \sum_{i = 1}^{2^{n}} \frac{1}{2^{n}} \log (\frac{1}{2^{n}}) = - \sum_{i = 1}^{2^{n}} \frac{1}{2^{n}} n \log (\frac{1}{2}) = n (- \sum_{i = 1}^{2} \frac{1}{2} \log (\frac{1}{2})) = n .

$- \sum_{i=1}^{2^n} \frac{1}{2^n} \log\left(\tfrac{1}{2^n}\right) = - \sum_{i=1}^{2^n} \frac{1}{2^n} n \log\left(\tfrac{1}{2}\right) = n \left( - \sum_{i=1}^{2} \frac{1}{2} \log\left(\tfrac{1}{2}\right) \right) = n.$

Или просто посмотреть, как это работает при подбрасывании двух разных монет (возможно, нечестно - с головами с вероятностью и хвостами для первой монеты и и для второй) поэтому свойства логарифма (логарифма произведения - это сумма логарифмов) имеют решающее значение. $p_1$ $p_2$ $q_1$ $q_2$

- \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} \log (p_{i} q_{j}) = - \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} (\log (p_{i}) + \log (q_{j}))

$-\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i q_j) = -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \left( \log(p_i) + \log(q_j) \right)$

= - \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} \log (p_{i}) - \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} \log (q_{j}) = - \sum_{i = 1}^{2} p_{i} \log (p_{i}) - \sum_{j = 1}^{2} q_{j} \log (q_{j})

$= -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i) -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(q_j) = -\sum_{i=1}^2 p_i \log(p_i) - \sum_{j=1}^2 q_j \log(q_j)$

Но и энтропия Реньи обладает этим свойством (энтропия параметризована вещественным числом , которое становится энтропией Шеннона для ). $\alpha$ $\alpha \to 1$

Однако здесь возникает второе свойство - энтропия Шеннона особенная, так как она связана с информацией. Чтобы получить интуитивное ощущение, вы можете посмотреть на как среднее значение .

H = \sum_{i} p_{i} \log (\frac{1}{p_{i}})

$H = \sum_i p_i \log \left(\tfrac{1}{p_i} \right)$

\log (1 / p)

$\log(1/p)$

Мы можем назвать информацией. Почему? Потому что если все события происходят с вероятностью , это означает, что есть событий. Чтобы узнать, какое событие произошло, нам нужно использовать биты (каждый бит удваивает количество событий, которые мы можем отличить друг от друга). $\log(1/p)$ $p$ $1/p$ $\log(1/p)$

Вы можете чувствовать беспокойство: «Хорошо, если все события имеют одинаковую вероятность, имеет смысл использовать в качестве меры информации. Но если это не так, почему усреднение информации имеет какой-то смысл?» - и это естественная проблема. $\log(1/p)$

Но оказывается, что это имеет смысл - источник Шеннона кодирования теоремы говорит о том , что строка с uncorrelted букв с вероятностями длиной не может быть сжат (в среднем) в двоичную строку короче , чем . И в самом деле, мы можем использовать кодирование Хаффмана для сжатия строки и очень близко к . $\{p_i\}_i$ $n$ $n H$ $n H$

Смотрите также:

Прекрасное введение в Косме Шализи по теории информации запись
Что такое энтропия на самом деле? - MathOverflow
Рассекая формат GZIP

Петр Мигдаль
источник

11

В этом ответе много приятных деталей - но с точки зрения непрофессионала он все еще не решает проблему - какова роль логарифма? Почему мы не можем вычислить энтропию без логарифма?

histelheim

6

@histelheim Что вы подразумеваете под "без логарифма"? только один. Если вам нужна другая мера разнесения без , посмотрите на индексы разнесения - например, так называемый обратный индекс Симпсона который указывает эффективное число вариантов выбора (один над средней вероятностью), есть индекс Джини – Симпсона который всегда находится между 0 и единицей. И если вас не интересуют тонкие информационные свойства энтропии Шеннона, вы можете использовать любое из них (хотя они по-разному оценивают низкие и высокие вероятности).

\sum_{i} p_{i}

$\sum_i p_i$

\log

$\log$

1 / \sum_{i} p_{i}^{2}

$1/\sum_i p_i^2$

1 - \sum_{i} p_{i}^{2}

$1-\sum_i p_i^2$

Петр Мигдаль

10

Я озадачен вашим последним комментарием, Хистельхайм: что может означать «энтропия без логарифма»? Это говорит о том, что вы еще не четко сформулировали свой вопрос, потому что, похоже, у вас есть неустановленное понятие «энтропии». Пожалуйста, не заставляйте нас гадать - отредактируйте ваш вопрос так, чтобы ваши читатели могли дать ответы на ваши вопросы.

whuber

1

@ Петр Мигдаль - вы пишете: «Логарифм - это линейный рост в зависимости от размера системы и« поведения как информации »». - мне кажется, что важно понять роль логарифма, но я не совсем понимаю, что это значит.

histelheim

1

@ Петр Мигдаль - далее ваше объяснение следующее: «Мы можем назвать информацию из журнала (1 / p). Почему?» кажется, имеет смысл для меня. Является ли это тем, что логарифм по существу перемещает нас от индекса разнесения к информационному индексу - измеряя количество бит, которое нам нужно, чтобы отделить события друг от друга.

histelheim

25

Это то же самое, что и другие ответы, но я думаю, что лучший способ объяснить это - посмотреть, что говорит Шеннон в своей оригинальной статье.

Логарифмическая мера удобнее по разным причинам:

Это практически полезнее. Параметры технической важности, такие как время, полоса пропускания, количество реле и т. Д., Имеют тенденцию линейно меняться в зависимости от логарифма числа возможностей. Например, добавление одного реле в группу удваивает количество возможных состояний реле. Это добавляет 1 к основному 2 логарифму этого числа. Удвоение времени примерно удваивает число возможных сообщений или удваивает логарифм и т. Д.

Это ближе к нашему интуитивному ощущению относительно правильной меры. Это тесно связано с (1), поскольку мы интуитивно измеряем сущности путем линейного сравнения с общими стандартами. Например, чувствуется, что две перфокарты должны иметь в два раза большую емкость, чем одна, для хранения информации, а два идентичных канала - в два раза больше, чем одна, для передачи информации.

Это математически более подходит. Многие из ограничивающих операций просты с точки зрения логарифма, но потребуют неуклюжего пересчета с точки зрения количества возможностей

Источник: Шеннон, Математическая теория коммуникации (1948) [ pdf ].

Обратите внимание, что энтропия Шеннона совпадает с энтропией Гиббса статистической механики, и есть также объяснение, почему логарифм происходит в энтропии Гиббса. В статистической механике энтропия считается мерой числа возможных состояний в которых может быть найдена система. Причина, по которой лучше, чем заключается в том, что обычно является очень быстро растущей функцией своих аргументов и поэтому не может быть с пользой аппроксимирована расширением Тейлора, тогда как может быть. (Я не знаю, было ли это первоначальной мотивацией для регистрации, но это объясняется во многих вводных книгах по физике.) $\Omega$ $\log \Omega$ $\Omega$ $\Omega$ $\log \Omega$

Flounderer
источник

Этот ответ кажется наиболее сфокусированным, но в то же время информативным.

яркая звезда

1

Это не то, почему журнал появляется в расчете энтропии. Вот почему сообщаемая информация сообщается как таковая. Существует альтернативное количество: «недоумение», которое сообщает информацию без журнала. В этой части своей статьи Шеннон выступает за биты / нац / хартли и против недоумения.

Нил Г

15

Другой способ взглянуть на это с алгоритмической точки зрения. Представьте , что вы собираетесь угадать число , что только у вас информация , что это число в интервале . В этой ситуации оптимальным алгоритмом угадывания числа является простой алгоритм двоичного поиска , который находит в порядке . Эта формула интуитивно говорит, сколько вопросов вам нужно задать, чтобы узнать, что такое . Например, если , вам нужно задать максимум 3 вопроса, чтобы найти неизвестный . $x$ $1 \leq x \leq N$ $x$ $O(\log_2N)$ $x$ $N=8$ $x$

С точки зрения вероятностной, при объявлении как в равной степени вероятно, будут любые значения в диапазоне , это означает для . Клод Шеннон прекрасно показал, что информационное содержание результата определяется как: $x$ $1 \leq x \leq N$ $p(x) = 1/N$ $1 \leq x \leq N$ $x$

h (x) = \log_{2} \frac{1}{p (x)}

$\begin{equation} h(x) = \log_2 \frac{1}{p(x)} \end{equation}$

Причина для основания 2 в логарифме состоит в том, что здесь мы измеряем информацию в битах . Вы также можете принять натуральный логарифм, который измеряет вашу информацию в нац . Например, информационное содержание outcom - это . Это значение точно равно числу шагов в алгоритме двоичного поиска (или числу операторов IF в алгоритме). Поэтому количество вопросов, которые вам нужно выяснить, равно , это именно информационное содержание результата . $x=4$ $h(4) = 3$ $x$ $4$ $x=4$

Мы также можем проанализировать производительность алгоритма бинарного поиска для любого возможного результата. Один из способов сделать это - узнать ожидаемое количество вопросов для любых значений . Обратите внимание, что количество требуемых вопросов для угадывания значения , как я обсуждал выше, равно . Следовательно, ожидаемое количество вопросов для любого по определению равно: $x$ $x$ $h(x)$ $x$

⟨ h (x) ⟩ = \sum_{1 \leq x \leq N} p (x) h (x)

$\begin{equation} \langle h(x) \rangle = \sum_{1 \leq x \leq N} p(x) h(x) \end{equation}$

Ожидаемое количество вопросов точно такое же, как энтропия ансамбля , или короче энтропия. Таким образом, мы можем сделать вывод, что энтропия количественно определяет ожидаемое (или среднее) число вопросов, которые нужно задать, чтобы угадать результат, что является вычислительной сложностью алгоритма двоичного поиска. $\langle h(x) \rangle$ $H(X)$ $H(X)$

omidi
источник

1

+ Это одно из моих любимых приложений теории информации - алгоритм анализа. Если у вас есть точки принятия решения с> 2 результатами, например, при индексации массива, это принцип, лежащий в основе хэш-кодирования и сортировки O (n).

Майк Данлавей

Этот аргумент подходит для дискретной энтропии, но его нелегко обобщить на непрерывную энтропию.

Нил Г

12

Вот неординарное объяснение. Можно сказать, что две книги одного размера содержат вдвое больше информации, чем одна книга, верно? (Считая книгу строкой битов.) Что ж, если у определенного результата есть вероятность P, то вы могли бы сказать, что его информационное содержание о количестве битов, которое вам нужно выписать 1 / P. (например, если P = 1/256, это 8 бит.) Энтропия - это просто среднее значение длины этого информационного бита по всем результатам.

Майк Данлавей
источник

5

Цель появления в энтропии Шеннона состоит в том, что - единственная функция, удовлетворяющая базовому набору свойств, который, как представляется энтропийная функция . $\log(p_i)$ $\log(p_i)$ $H(p_1, \ldots ,p_N)$

Шеннон предоставил математическое доказательство этого результата, которое было тщательно отобрано и широко принято. Таким образом, цель и значение логарифма в уравнении энтропии самодостаточны в предположениях и доказательствах.

Это нелегко понять, но в конечном итоге это причина появления логарифма.

Я нашел следующие ссылки полезными в дополнение к перечисленным в другом месте:

Теория вероятностей: логика науки Э. Т. Джейнса . Джейнс - один из немногих авторов, который получает много результатов с нуля; см. главу 11.
Теория информации, логический вывод и алгоритмы обучения Дэвид Маккей. Содержит углубленный анализ теоремы Шеннона об исходном кодировании; см. главу 4.

user119961
источник

4

Резюме:

Потому что он представляет собой среднее общее количество совершенных вопросов, на которые вам нужно получить ответы, чтобы полностью устранить все неопределенности в данных, которые вы еще не видели. Идеальный вопрос с возможными ответами - это тот, который, если ответить, пространство возможностей будет уменьшено в раз. $n$ $n$

Пример:

Предположим, что я бросил гранный кубик, и вы должны были предсказать его исход. Пространство возможностей . Вы могли бы задать мне такие вопросы, как этот бинарный "результат ?" (ответ либо да, либо нет, т.е. ), и мой ответ может быть «nopies!». Тогда пространство возможностей всего . Так что этот вопрос не очень хороший вопрос. $6$ $6$ $1$ $n=2$ $1$

В качестве альтернативы, вы можете задать лучшие вопросы, такие как этот превосходный бинарный вопрос «больше ?», И мой ответ будет «Yeppies!» - тогда бум, пространство возможностей сокращается вдвое! Т.е. осталось всего кандидата (из первоначально 6). Черт, да, чувак. $3.5$ $6/2=3$

Теперь предположим, что вы продолжаете рекурсивно задавать больше этих хороших вопросов, пока не дойдете до случая, когда пространство возможностей имеет только возможность, благодаря которой - по определению - не остается двусмысленности (вы знаете ответ). $1$

Давай сделаем это:

$6$ возможностей. В: Является ли результат ? A: Да. $> 3.5$
$6/2=3$ возможности. Q: результат ? A: Да. $\ge 5$
$6/2/2=1.5$ осталось возможностей. Q: результат ? A: Да. $= 6$

Вы заключаете, что результат должен быть № , и вам нужно было только задать бинарных вопроса. Т.е. $6$ $3$ $ceil(\log_2(6)) = ceil(2.58) = 3$

Теперь, очевидно, количество бинарных вопросов всегда является натуральным числом. Так почему же энтропия Шеннона не использует функцию ? Потому что на самом деле выкладывается среднее количество хороших вопросов, которые нужно задать. $ceil$

Если вы повторите этот эксперимент (написав код Python), вы заметите, что в среднем вам нужно будет задать идеальных бинарных вопросов. $2.58$

Конечно, если вы задаете бинарные вопросы, вы устанавливаете базу журнала на это. Так что здесь потому что наши вопросы были двоичными. Если вы задаете вопросы, которые ожидают возможных ответов, для базы вы установите вместо , то есть . $\log_2(...)$ $n$ $n$ $2$ $\log_n(...)$

Моделирование:

import random

total_questions = 0
TOTAL_ROUNDS = 10000

for i in range(0,TOTAL_ROUNDS):
    outcome = random.randrange(1,7)
    total_questions += 1
    if outcome > 3.5:
        total_questions += 1
        if outcome >= 5:
            total_questions += 1
            if outcome == 5:
                pass
            else:
                # must be 6! no need to ask
                pass
        else:
            # must be 4! no need to ask
            pass
    else:
        total_questions += 1
        if outcome >= 2:
            total_questions += 1
            if outcome == 2:
                pass
            else:
                # must be 3! no need to ask
                pass
        else:
            # must be 1! no need to ask
            pass


print 'total questions: ' + str(total_questions)
print 'average questions per outcome: ' + str(total_questions/float(TOTAL_ROUNDS))

Результаты:

total questions: 26634
average questions per outcome: 2.6634

Святой чувак . $2.6634 \ne \log_2(6) \ne 2.58$

В чем дело? Это почти близко, но не совсем близко, как я надеялся. Это PRNG Питона пытается сказать медленную шутку? Или Шеннон ошибается? Или это - не дай Бог - мое понимание неверно? В любом случае ПОМОГИТЕ. SOS уже чувак.

троглодит
источник

2

Вы на хорошее объяснение. Решение вашей трудности состоит в том, чтобы объединить отдельные проблемы. Я проиллюстрирую. Не предсказывайте по одному кубику за раз: предсказывайте, скажем, по пять за раз. Есть возможностей. Задавая вопросов, вы можете определить любую возможную комбинацию. Следовательно (поскольку кости являются независимыми), в среднем бит информации на кристалл. Лучше кубик : для определения всех их значений требуется вопросов, или вопроса на кубик, чтобы предсказать их все. И т.д.

6^{5} = 7776

$6^5=7776$

⌈ \log_{2} (6^{5}) ⌉ = 13

$\lceil\log_2(6^5)\rceil=13$

13 / 5 = 2.6

$13/5=2.6$

190537

$190537$

492531

$492531$

492531 / 190537 \approx 2.584962500722

$492531/190537\approx 2.584962500722$

whuber

@whuber разве это не то, что я делаю в своем коде? Я бросаю 10000 кубиков и суммирую общее количество вопросов, которые я задаю для всех кубиков. Затем я делаю сумму / 10000 я получаю 2,66.

пещерный человек

1

Нет, вы вообще не делаете этого в своем коде! Вам необходимо задать набор вопросов, предназначенных для одновременного получения состояния всех игральных костей одновременно. Это не то же самое, что среднее количество вопросов, необходимое для определения состояния одного кубика за раз.

whuber

3

Предположим, у нас есть отдельный источник информации, который генерирует символы из некоторого конечного алфавита с вероятностями . Шеннон определяет энтропию как меру такую, что $\Omega = \{\omega_1, \dotsc, \omega_n\}$ $p_1, \dotsc, p_n$ $H(p_1, \dotsc, p_n)$

$H$ непрерывен по своим параметрам,
$H$ монотонно увеличивается в когда (поскольку неопределенность увеличивается), и $n$ $p_1 = \dots = p_n = \frac1n$
$H$ не зависит от того, как выбор делится на последовательный выбор. Например, рассмотрим три события при броске черного и белого кристаллов: (1) белый кристалл нечетный, (2) белый кристалл четный и черный кристалл меньше трех, и (3) в противном случае. Либо кубик бросают вместе, либо сначала бросают белый кубик, и, возможно, черный кубик при необходимости. Это требование гласит, что $\begin{aligned} H (\frac{1}{2}, \frac{1}{6}, \frac{1}{3}) & = H (\frac{1}{2}, \frac{1}{2}) + \frac{1}{2} H (\frac{1}{3}, \frac{2}{3}) . \end{aligned}$ $\begin{align} H\left(\frac12, \frac16, \frac13\right) &= H\left(\frac12, \frac12\right) + \frac12 H\left(\frac13, \frac23\right). \end{align}$

Шеннон доказывает, что единственный удовлетворяющий трем требованиям, имеет вид где соответствует произвольной единице измерения информации. Когда , эта единица является битом . $H$

\begin{aligned} H (p_{1}, \dots, p_{n}) & = - \sum_{i = 1}^{n} p_{i} \log_{k} p_{i} \end{aligned}

$\begin{align} H(p_1, \dotsc, p_n) &= -\sum_{i=1}^np_i\log_kp_i \end{align}$

k > 1

$k>1$

k = 2

$k=2$

Нил Г
источник

3

Этот вопрос был поднят два года назад, и уже было много удивительных ответов, но я хотел бы добавить свой, который очень мне помог.

Вопрос в том

Какой цели служит логарифм в этом уравнении?

Логарифм (обычно основанный на 2) из- за неравенства Крафта .

$\sum_{i=1}^m 2^{-l_i} <= 1$

мы можем интуитивно понять это следующим образом: сумма вероятностей всего кода с длиной меньше 1. Из неравенства мы можем получить следующий результат, что для каждой функции длины кода однозначно декодируемого кода существует распределение такой, что $l_i$ $L_x$ $P(x)$

$P(x) = 2^{-L(x)}$ ,

И, следовательно, и - это вероятность кода с длиной . $L_{(x)} = -logP(x)$ $P(x)$ $L_{(x)}$

Энтропия Шеннона определяется как средняя длина всего кода. Поскольку вероятность каждого кода с длиной равна , средняя длина (или энтропия Шеннона) равна . $L_{(x)}$ $P(x)$ $-P(x)logP(x)$

Интуитивная иллюстрация и визуальный ответ (как вам требуется, но более конкретно для неравенства Крафта) артикулируются в этой статье коды дерева, и неравенство Крафта .

Лернер Чжан
источник

1

Исходя из вашего неприятия уже полученных ответов, я думаю, что то, что вы ищете, является причиной, по которой Шеннон использовал логарифм в своей формуле в первую очередь. Другими словами, философия этого.

_{Отказ от ответственности : я просто в этой области в течение недели, потому что у меня такой же вопрос, как и у вас . Если у вас есть больше знаний об этом, пожалуйста, дайте мне знать.}

У меня есть этот вопрос после прочтения одной из самых важных статей Улановича, « Повышение энтропии: тепловая смерть или вечные гармонии? , Этот параграф объясняет, почему в формуле -log (p) вместо (1-p):

Перед дальнейшим распаковыванием формального определения энтропии можно было бы спросить, почему бы просто не выбрать (1 - p) вместо [–log (p)] как наиболее подходящую меру небытия? Ответ заключается в том, что результирующее произведение с p (то есть [p – p ^ 2]) совершенно симметрично относительно значения p = 0,5. Расчеты в соответствии с такой симметричной комбинацией могли бы описать только обратимую вселенную. Больцман и Гиббс, однако, стремились количественно определить необратимую вселенную. Выбрав одномерную выпуклую логарифмическую функцию, Больцман тем самым придал уклон небытию над бытием. Например, можно заметить, что max [–xlog {x}] = {1 / e} ≈ 0,37, так что мера неопределенности смещается в сторону более низких значений pi.

Похоже, что Шеннон выбрал логарифм без причины. Он просто "понюхал", что ему следует использовать логарифм. Почему Ньютон выбрал операцию умножения в своей формуле F = m * a?

Обратите внимание, что в то время он понятия не имел об энтропии :

Больше всего меня волновало, как это назвать. Я подумал о том, чтобы назвать это «информацией», но это слово использовалось слишком часто, поэтому я решил назвать его «неопределенностью». Когда я обсуждал это с Джоном фон Нейманом, у него была идея получше. Фон Нейман сказал мне: «Вы должны назвать это энтропией по двум причинам. Во-первых, ваша функция неопределенности использовалась в статистической механике под этим именем, поэтому у нее уже есть имя. Во-вторых, что более важно, никто не знает, что такое энтропия, поэтому в споре у вас всегда будет преимущество.

Итак, мой ответ: нет причин для этого. Он выбрал это, потому что это просто волшебно сработало.

Ooker
источник

0

Энтропия определяется как логарифм среднего геометрического коэффициента многочлена, который выражает число состояний, в которых может находиться система:

\log \sqrt[N]{(\binom{N}{n_{1}, \dots, n_{k}})}

$\log \sqrt[N]{N \choose n_1,\ldots,n_k}$

Логарифмы появляются в формуле после использования факториала в приближении Стирлинга (см. Это объяснение )

Atamiri
источник

3

Я считаю, что ОП знает, что логарифм является частью определения. Они спрашивают, почему это там?

whuber

0

Лог получается из функции H, удовлетворяющей определенным естественным требованиям. См. Стр. 3 сек. 2 из этого источника:

http://www.lptl.jussieu.fr/user/lesne/MSCS-entropy.pdf

С учетом аксиом, если вы выполняете оптимизацию, вы получаете уникальную (до констант) функцию с журналом в ней.

Все вышеприведенные ответы верны, за исключением того, что они интерпретируют журнал, но не объясняют его источник.

Свапнил бхатия
источник

0

Я предполагаю, что ваш вопрос больше о «значении» этого логарифма и о том, почему каждый компонент вносит вклад в общее значение формулы, а не в простой формализм, показывающий согласованность определения с определенными требованиями.

Идея энтропии Шеннона состоит в том, чтобы оценить информацию о сообщении, посмотрев на его ЧАСТОТУ (т. Е. ) и на ОБЩУЮ (т. ): $p(x)$ $-log(p(x))$

$p(x)$ : чем более «частое» сообщение, тем меньше информации будет переноситься (т. е. легче предсказать).
$-log(p(x))$ : чем более «общее» сообщение, тем больше информации будет переноситься.

Первое слагаемое относится к частоте, а - к его общности. $p(x)$ $-log(p(x))$

С этого момента я буду обсуждать, как ОБЩИЕ свойства влияют на окончательную формулу энтропии.

Таким образом, мы можем определить, как общее (например, дождь / не дождь) или конкретное (например, ligth / avg / heavy / veryHeavy rain) сообщение на основе количества битов, необходимых для его кодирования:

l o g_{2} (x) = n u m b e r_o f_b i t s_t o_e n c o d e_t h e_m e s s a g e s

$log_2(x) = number\_of\_bits\_to\_encode\_the\_messages$

Теперь сядьте, расслабьтесь и посмотрите, как прекрасно работает энтропия Шеннона: она основана на (разумном) допущении, что сообщения, которые являются более ОБЩАМИ, следовательно, более ЧАСТОТЫ.

Например, я скажу, что идет дождь, если это средний, сильный или очень тяжелый дождь. Таким образом, он предложил закодировать ОБЩИЕ сообщения, основываясь на том, насколько они ЧАСТОТЫ ... и вот вы:

l o g_{2} N = - l o g_{2} 1 / N = - l o g_{2} P

$log_2 N = -log_2 1/N = -log_2 P$

с частота сообщения . $N$ $x$

Уравнение можно интерпретировать как: редкие сообщения будут иметь более длинную кодировку, потому что они менее общие, поэтому им нужно больше битов для кодирования и они менее информативны. Следовательно, наличие более конкретных и редких сообщений будет способствовать большей энтропии, чем наличие множества общих и частых сообщений.

В окончательной формулировке мы хотим рассмотреть два аспекта. Первая, , заключается в том, что частые сообщения легче прогнозировать, и с этой точки зрения они менее информативны (т.е. более длинное кодирование означает более высокую энтропию). Второй, , заключается в том, что частые сообщения также носят общий характер и с этой точки зрения более информативны (т. Е. Более короткое кодирование означает меньшую энтропию). $p(x)$ $-log(p(x))$

Самая высокая энтропия - это когда у нас есть система со множеством редких и специфических сообщений Самая низкая энтропия с частыми и общими сообщениями. Между ними у нас есть спектр энтропийно-эквивалентных систем, которые могут иметь как редкие, так и общие сообщения или частые, но специфические сообщения.

Gabrer
источник

0

Я не думаю, что можно дать вам универсальный «интуитивный» ответ. Я дам вам ответ, который является интуитивно понятным для некоторых людей, таких как физики. Логарифм существует для получения средней энергии системы. Вот подробности.

Шеннон использовал слово « энтропия », потому что он адаптировал концепцию из статистической механики . В статистической механике есть оригинальное распределение имени Больцмана. Интересно, что сейчас это важное распространение в машинном обучении!

Распределение Больцмана можно записать в виде , где являются постоянными, и является энергией системы в государственном пространстве состояний . В классической термодинамике , где - координата и импульс частицы. Это правильная функция вероятности, когда константы выбраны правильно, то есть . Также вам может показаться интересным, что соответствует температуре системы.

P = e^{\frac{a - E}{b}}

$P=e^{\frac{a-E} b}$

a, b

$a, b$

E

$E$

d V

$dV$

V

$V$

d V = d p d x

$dV=dpdx$

x, p

$x,p$

a, b

$a,b$

\int_{V} P d V = 1

$\int_VPdV=1$

b

$b$

Теперь обратите внимание, как , т.е. логарифм вероятности является линейным (пропорциональным) энергии. Теперь вы можете видеть, что следующее выражение, по сути, является ожидаемым значением энергии системы: Это то, что сделал Гиббс. $\ln P\sim E$

S \equiv - \int_{V} P \ln P d V =< E >

$S\equiv -\int_VP\ln P dV=<E>$

Итак, Шеннон взял эту вещь и назвал ее "энтропией", а мы называем это "энтропией Шеннона". Здесь больше нет энергетической концепции, но, может быть, вы могли бы противодействовать вероятности состояния и назвать это энергией состояния?

η = - \sum_{i} P_{i} \ln P_{i}

$\eta=-\sum_i P_i\ln P_i$

e^{- P_{i}}

$e^{-P_i}$

Это достаточно интуитивно для вас? Это для меня, но я был физиком-теоретиком в прошлой жизни. Кроме того, вы можете перейти на более глубокий уровень интуиции, связавшись с еще более старыми термодинамическими понятиями, такими как температура и работы Больцмана и Клаузиуса.

Аксакал
источник

Какова роль логарифма в энтропии Шеннона?

Ответы:

Резюме:

Пример:

Моделирование: