Оценить информационную энтропию с помощью выборки Монте-Карло

Я ищу методы, позволяющие оценить информационную энтропию распределения, когда единственными практическими способами выборки из этого распределения являются методы Монте-Карло.

Моя проблема мало чем отличается от стандартной модели Изинга, которая обычно используется в качестве вводного примера для выборки Метрополис-Гастингс. У меня есть распределение вероятностей множества , то есть у меня есть для каждого . Элементы имеют комбинаторную природу, как и состояния Изинга, и их очень много. Это означает, что на практике я никогда не получаю одну и ту же выборку дважды при выборке из этого дистрибутива на компьютере. нельзя вычислить напрямую (из-за незнания коэффициента нормализации), но соотношение легко вычислить.p ( a ) a ∈ A a ∈ A p ( a ) p ( a 1 ) / p ( a 2$A$$p(a)$$a \in A$$a \in A$$p(a)$$p(a_1)/p(a_2)$

Я хочу оценить информационную энтропию этого распределения,

В качестве альтернативы я хочу оценить разницу энтропии между этим распределением и распределением, полученным путем ограничения его на подмножество (и, конечно, повторную нормализацию).$a\in A_1 \subset A$

Если я понимаю, какая информация у вас имеется, то, что вы хотите, невозможно: доступной вам информации недостаточно для определения энтропии. Этого даже недостаточно, чтобы приблизить энтропию.

Похоже, у вас есть способ выборки из распределения , и у вас есть способ вычислить отношение p ( a 1 ) / p ( a 2 ) для любой пары элементов a 1 , a 2, которую вы получили через выборку, но у вас нет другой информации. Если это так, ваша проблема не решаема.$p(\cdot)$$p(a_1)/p(a_2)$$a_1,a_2$

В частности, мы можем найти пару дистрибутивов, которые имеют разные энтропии, но которые нельзя различить, используя доступную вам информацию. Сначала рассмотрим равномерное распределение на (случайном) множестве размера . Далее рассмотрим равномерное распределение на (случайном) множестве размера 2 300 . Они имеют разные энтропии (200 бит против 300 бит). Однако, учитывая доступную вам информацию, у вас нет возможности узнать, с каким из этих двух дистрибутивов вы работаете. В частности, в обоих случаях соотношение p ( a 1 ) / p ( a 2$2^{200}$$2^{300}$$p(a_1)/p(a_2)$всегда будет ровно 1, поэтому соотношения не помогут вам различить эти два распределения. И из-за парадокса дня рождения вы можете выбирать столько раз, сколько хотите, но вы никогда не получите одно и то же значение дважды (не в течение жизни, за исключением экспоненциально малой вероятности), поэтому значения, полученные из выборки, будут выглядеть просто случайные точки и не содержат никакой полезной информации.

Итак, чтобы решить вашу проблему, вам нужно знать что-то большее. Например, если вы знаете что-то о структуре распределения , это может помочь решить вашу проблему.$p(\cdot)$

Для второй части вопроса (оценка энтропии разницы между распределениями) вы можете иметь возможность использовать тождество где ⟨ Е ⟩ средняя энергия, Т представляет собой температуру (она пропорциональна θ в p ∝ e θ E ), а S - энтропия. Подробнее см .: Джейнс Э. (1957). Теория информации и статистическая механика. Physical Review, 106 (4), 620–630. http://doi.org/10.1103/PhysRev.106.620 .

$\Delta F$$\Delta S$$\Delta F$$\Delta \langle E \rangle$$A_1$$A$$E$$A_1$

Вот две дополнительные ссылки на алгоритмы для вычисления свободной энергии:

Lelièvre, T., Rousset, M. & Stoltz, G. (2010). Расчеты бесплатной энергии. Императорский Колледж Пресс. http://doi.org/10.1142/9781848162488

Chipot, C. & Pohorille, A. (2007). Расчеты бесплатной энергии. (C. Chipot & A. Pohorille, Eds.) (Том 86). Берлин, Гейдельберг: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9