Почему энтропия максимизируется, когда распределение вероятностей равномерно?

Я знаю, что энтропия - это мера случайности процесса / переменной, и ее можно определить следующим образом. для случайной величины множестве : - . В книге МакКея об энтропии и теории информации он приводит это утверждение в гл. 2$X \in$H ( X ) $A$$H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

Энтропия максимальна, если р равномерно.

Интуитивно, я могу понять это, как если бы все точки данных в наборе выбирались с равной вероятностью ( является количеством элементов множества ), то случайность или энтропия увеличивались. Но если мы знаем, что некоторые точки в множестве будут встречаться с большей вероятностью, чем другие (скажем, в случае нормального распределения, где максимальная концентрация точек данных находится вокруг среднего значения и области стандартного малого отклонения вокруг него, то случайность или энтропия должна уменьшиться.$A$$1/m$$m$$A$$A$

Но есть ли математическое подтверждение этому? Как и уравнение для я дифференцирую его по и устанавливаю в 0 или что-то в этом роде.p ( x $H(X)$$p(x)$

Кстати, есть ли связь между энтропией, возникающей в теории информации, и вычислениями энтропии в химии (термодинамике)?

Эвристически, функция плотности вероятности на с максимальной энтропией оказывается той, которая соответствует наименьшему количеству знаний о , другими словами, Равномерное распределение.{ х 1 , х 2 , . , , . х н$\{x_1, x_2,..,.x_n\}$$\{x_1, x_2,..,.x_n\}$

Теперь для более формального доказательства рассмотрим следующее:

Функция плотности вероятности на - это набор неотрицательных действительных чисел которые складываются в 1. Энтропия - это непрерывная функция от кортежей , и эти точки лежат в компактном подмножестве , поэтому существует кортеж, в котором энтропия максимальна. Мы хотим показать, что это происходит в и больше нигде.р 1 , . , , , Р п п ( р 1 , . . . , Р п ) Р н п ( 1 / п , . . . , 1 / п $\{x_1, x_2,..,.x_n\}$$p_1,...,p_n$$n$$(p_1,...,p_n)$$\mathbb{R}^n$$n$$(1/n,...,1/n)$

Предположим, что не все равны, скажем, . (Ясно, что ) Мы найдем новую плотность вероятности с более высокой энтропией. Из этого следует, что, поскольку энтропия максимизируется в некотором кортеже, эта энтропия однозначно максимизируется в кортеже с для всех .p 1 < p 2 n ≠ 1 n n p i = 1 / n $p_j$$p_1 < p_2$$n\neq 1$$n$$n$$p_i = 1/n$$i$

Поскольку , для небольшого положительного мы имеем . Энтропия минус энтропия равна ε р 1 + ε < р 2 - ε { р 1 + ε , р 2 - ε , р 3 , . , , , Р п } { р 1 , р 2 , р 3 , . , , , п н$p_1 < p_2$$\varepsilon$$p_1 + \varepsilon < p_2 -\varepsilon$$\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$$\{p_1,p_2,p_3,...,p_n\}$

ε-p1log(1+

$$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$$ Чтобы завершить доказательство, мы хотим показать, что это положительно для достаточно малого . Перепишите вышеприведенное уравнение как $\varepsilon$ $$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$$

Напоминая, что для малых , вышеприведенное уравнение имеет вид что положительно, когда достаточно мал, так как .x - ε - ε log p 1 + ε + ε log p 2 + O ( ε 2 ) = ε log ( p 2 / p 1 ) + O ( ε 2 ) ε p 1 < p $\log(1 + x) = x + O(x^2)$$x$

$$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$$ $\varepsilon$$p_1 < p_2$

Менее строгое доказательство заключается в следующем:

Рассмотрим сначала следующую лемму:

Пусть и непрерывные функции плотности вероятности на интервале в действительных числах, с и на . Мы имеем если существуют оба интеграла. Более того, равенство существует тогда и только тогда, когда для всех .q ( x ) I p ≥ 0 q > 0 I - ∫ I p log p d x ≤ - ∫ I p log q d x p ( x ) = q ( x ) $p(x)$$q(x)$$I$$p\geq 0$$q > 0$$I$

$$-\int_I p\log p dx\leq -\int_I p\log q dx$$ $p(x) = q(x)$$x$

Теперь пусть - любая функция плотности вероятности на , где . Обозначая для всех , что является энтропией . Поэтому наша лемма говорит о с равенством тогда и только тогда, когда равномерно.{ х 1 , . , , , Х п } р я = р ( х я ) д я = 1 / п я - п Σ я = 1 р я войти д я = п Σ я = 1 р я лог п = лог п д ч ( р ) ≤ ч ( q $p$$\{x_1,...,x_n\}$$p_i = p(x_i)$$q_i = 1/n$$i$

$$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$$ $q$$h(p)\leq h(q)$$p$

Кроме того, в Википедии есть краткое обсуждение этого: вики

Энтропия в физике и теории информации не связаны. Они более разные, чем следует из названия, но между ними явно есть связь. Целью энтропийной метрики является измерение количества информации. Смотрите мой ответ с графиками здесь, чтобы показать, как энтропия меняется от равномерного распределения к горбатому.

Причина, по которой энтропия максимизируется для равномерного распределения, заключается в том, что она была разработана именно так! Да, мы строим показатель для отсутствия информации, поэтому мы хотим присвоить его наибольшее значение наименее информативному распределению.

Пример. Я спросил тебя " Чувак, где моя машина ?" Ваш ответ: «Это где-то в США между Атлантическим и Тихим океанами». Это пример равномерного распределения. Моя машина может быть где угодно в США. Я не получил много информации из этого ответа.

Однако, если вы сказали мне: «Я видел вашу машину час назад на трассе 66, направляющейся из Вашингтона, округ Колумбия» - это уже не единообразное распределение. Автомобиль, скорее всего, будет в 60 милях от округа Колумбия, чем где-либо недалеко от Лос-Анджелеса. Здесь явно больше информации.

Следовательно, наша мера должна иметь высокую энтропию для первого ответа и меньшую для второго. Форма должна быть наименее информативной, это, по сути, ответ «я понятия не имею».

Математический аргумент основан на неравенстве Дженсена для вогнутых функций. То есть, если является вогнутой функцией на и являются точками в , то: $f(x)$$[a,b]$$y_1, \ldots y_n$$[a,b]$$n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

Примените это для вогнутой функции и неравенства Дженсена для и у вас есть доказательство. Обратите внимание, что определяет дискретное распределение вероятностей, поэтому их сумма равна 1. То, что вы получаете, это , с равенством для равномерного распределения.y i = p ( x i ) p ( x i ) l o g ( n ) ≥ ∑ n i = 1 - p ( x i ) l o g ( p ( x i) ) $f(x) = -x \log(x)$$y_i = p(x_i)$$p(x_i)$$log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$

Кстати, есть ли связь между энтропией, возникающей в теории информации, и вычислениями энтропии в химии (термодинамике)?

Да, есть! Вы можете увидеть работу Джейнса и многих других после его работы (например, здесь и здесь , например).

Но основная идея заключается в том, что статистическую механику (и другие области науки) можно рассматривать как вывод, который мы делаем о мире .

В качестве дальнейшего чтения я бы порекомендовал книгу Ариэля Катича на эту тему.

Интуитивное объяснение:

Если мы поместим больше вероятностной массы в одно событие случайной величины, нам придется отнять некоторые из других событий. У одного будет меньше информационного содержания и больше веса, у других больше информационного содержания и меньше веса. Следовательно, энтропия, являющаяся ожидаемым информационным содержанием, будет снижаться, поскольку событие с более низким информационным содержанием будет взвешиваться больше.

В качестве крайнего случая представьте, что одно событие получает вероятность, равную почти одному, поэтому другие события будут иметь суммарную вероятность, почти равную нулю, и энтропия будет очень низкой.

$p_i$

$p_i$$i=1,...,n$$q = 1-\sum_{i=0}^{n-1} p_i$

$$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$$ $$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$$ $q = p_i$$i$$p_1=p_2=...=p_n$