Взаимная информация как вероятность

Может ли взаимная информация по совместной энтропии:

0 \leq \frac{я (Икс, Y)}{ЧАС (Икс, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

быть определено как: «вероятность передачи части информации от X до Y»?

Прошу прощения за наивность, но я никогда не изучал теорию информации, и я просто пытаюсь понять некоторые концепции этого.

information-theory mutual-information Лука Магги
источник

Добро пожаловать в CV, Лука Магги! Какой прекрасный первый вопрос!

Алексис

Ответы:

Мера, которую вы описываете, называется соотношением качества информации [IQR] (Wijaya, Sarno and Zulaika, 2017). IQR является взаимной информацией $I(X,Y)$ разделенная на «общую неопределенность» (совместная энтропия) $H(X,Y)$ (источник изображения: Wijaya, Sarno and Zulaika, 2017).

Как описано Wijaya, Sarno и Zulaika (2017),

диапазон IQR составляет $[0,1]$ . Наибольшее значение (IQR = 1) может быть достигнуто, если DWT может идеально восстановить сигнал без потери информации. В противном случае самое низкое значение (IQR = 0) означает, что MWT не совместим с исходным сигналом. Другими словами, восстановленный сигнал с конкретным MWT не может хранить существенную информацию и полностью отличается от исходных характеристик сигнала.

Вы можете интерпретировать это как вероятность того, что сигнал будет идеально восстановлен без потери информации . Обратите внимание, что такая интерпретация ближе к субъективистской интерпретации вероятности , чем к традиционной, частой интерпретации.

Это вероятность для двоичного события (реконструируемая информация против нет), где IQR = 1 означает, что мы считаем восстановленную информацию достоверной, а IQR = 0 означает противоположное. Он разделяет все свойства для вероятностей бинарных событий. Кроме того, энтропии имеют ряд других свойств с вероятностями (например, определение условных энтропий, независимость и т. Д.). Так что это похоже на вероятность и крякает как это.

Виджая Д.Р., Сарно Р. и Зулайка Е. (2017). Коэффициент качества информации как новая метрика для выбора материнского вейвлета. Хемометрика и интеллектуальные лабораторные системы, 160, 59-71.

Тим
источник

Как функция IQR определена для

, чтобы сравнить ее с определяющими свойствами вероятностной меры? Представляете ли вы

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

где

- характеристическая функция?

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

Ганс

Ну, мой вопрос направлен на часть вашего ответа, а не на отдельный вопрос. Вы предлагаете мне открыть новый вопрос и ссылку и направить его на ваш ответ?

Ганс

@ Ганс Что я сказал, так это то, что эта мера легко соответствует определению, поправьте меня, если я ошибаюсь. Аксиомы 1. и 2. очевидны. Для аксиомы 3.

- перекрытие,

- общее пространство, поэтому дробь можно легко увидеть как вероятность.

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

Тим

Вероятность определяется на выборочном пространстве и его сигма-поле

. Я не понимаю, что это за показатель вероятности IQR. Существует уже образец пространства и его сигма поле для измерения вероятности , определенное для случайных величин

. Являются ли пространство выборки и поле новой вероятностной меры IQR такими же, как и у старой вероятностной меры, связанной с

? Если нет, то как они определены? Или вы говорите, что их не нужно определять? Как тогда вы проверяете это по аксиомам?

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

Ганс

@ Я четко заявил, что это согласуется с аксиомами, но трудно сказать, что именно это будет. Я предложил интерпретацию, вероятно, о восстановлении сигнала. Это не распределение вероятностей X или Y. Я думаю, вы могли бы глубже понять и понять его. Вопрос состоял в том, можно ли это интерпретировать как вероятность, а ответ был формально да.

Тим

Вот определение вероятностного пространства. Давайте использовать обозначения там. IQR является функцией кортежа $(\Omega,\mathscr F,P,X,Y)$ (первые три компонента образуют пространство вероятностей, на котором определены две случайные величины). Мера вероятности должна быть заданной функцией, которая удовлетворяет всем условиям определения, перечисленным в ответе Тима. $\Theta:=(\Omega,\mathscr F,P,X,Y)$ указать как некоторое подмножество множества $\tilde\Omega$ . Кроме того, набор $\Theta$ должно образовывать поле подмножеств $\tilde\Omega$ , и что $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ должен удовлетворять всем трем свойствам, перечисленным в определении вероятностной меры, приведенной в ответе Тима. Пока кто-то не построит такой объект, неверно говорить, что IQR - это мера вероятности. Я, например, не вижу полезности такой сложной вероятностной меры (не самой функции IQR, а как вероятностная мера). IQR в статье, цитируемой в ответе Тима, не называется или используется как вероятность, а как метрика (первый является одним из видов последнего, но последний не является одним из видов первого).

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

Hans
источник

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Это также относится к случаю, если вы используете сложную нейронную сеть с функцией активации сигмоида в конце, можете ли вы доказать, что выход является вероятностью в метрических терминах? Тем не менее, мы часто предпочитаем интерпретировать это как вероятность.

Тим

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Извините, но я никогда не находил подобные дискуссии и теорию мер интересными, поэтому я отказался от дальнейшего обсуждения. Я также не вижу в этом вашей точки зрения, тем более что ваш последний абзац, похоже, говорит о том же, что я говорил с самого начала.

Тим