Ограничение взаимной информации дает границы точечной взаимной информации

18

Предположим, у меня есть два набора X и Y и совместное распределение вероятностей по этим наборам p(x,y) . Пусть p(x) и p(y) обозначают маргинальные распределения по X и Y соответственно.

Взаимная информация между X и Y определяется следующим образом:

I(X;Y)=x,yp(x,y)log(p(x,y)p(x)p(y))

то есть это среднее значение поточечной взаимной информации pmi .(x,y)log(p(x,y)p(x)p(y))

Предположим, что я знаю верхнюю и нижнюю границы для pmi : т.е. я знаю, что для всех выполняется следующее: (x,y)x,y

klog(p(x,y)p(x)p(y))k

Какая верхняя граница это подразумевает для . Конечно, это подразумевает , но я бы хотел более жесткую оценку, если это возможно. Это кажется мне правдоподобным, потому что p определяет распределение вероятностей, а pmi не может принимать свое максимальное значение (или даже быть неотрицательным) для каждого значения и .I(X;Y)I(X;Y)k(x,y)xy

Florian
источник
1
Когда совместные и маргинальные вероятности одинаковы, pmi ( , ) равно нулю (и, следовательно, неотрицательно, очевидно противоречит вашему последнему утверждению, но едва). Мне кажется, если я не ошибаюсь, что возмущение этой ситуации на малых подмножествах указывает на то, что оценки pmi почти ничего не говорят о самом . y X × Y I ( X ; Y )xyX×YI(X;Y)
whuber
1
Фактически, если и независимы, то является константой независимо от маргинальных распределений. Таким образом, существует целый класс распределений для которых получает максимальное значение для каждых и . Y p m i ( x , y ) p ( x , y ) p m i ( x , y ) x yXYpmi(x,y)p(x,y)pmi(x,y)xy
кардинал
Да, безусловно, верно, что pmi может быть равным для всех и , но это не исключает более жесткой границы. Например, нетрудно доказать, что . Это когда , и является нетривиальным усилением границы когда . Мне интересно, есть ли нетривиальные границы, которые имеют место в целом. x y I ( X ; Y ) k ( e k - 1 ) k 2 k < 1 k k < 1(x,y)xyI(X;Y)k(ek1)k2k<1kk<1
Флориан
1
Я сомневаюсь, что вы получите лучшую оценку, чем для . Если вы хотите выглядеть сложнее, попробуйте переформулировать ваш вопрос в терминах расхождения KL между p (x) p (y) и p (x, y). Неравенство Пинскера обеспечивает нижнюю границу МИ, которая может подтвердить мою догадку. Смотрите также Раздел 4 ajmaa.org/RGMIA/papers/v2n4/relog.pdf . k 0O(k2)k0
vqv

Ответы:

5

Мой вклад состоит из примера. Это иллюстрирует некоторые ограничения на то, как взаимная информация может быть ограничена, учитывая границы точечной взаимной информации.

Возьмем и р ( х ) = 1 / п для всех х Х . Для любого пусть будет решением уравнения Затем мы помещаем точечную массу в точки в пространстве произведений таким образом, чтобы былоX=Y={1,,n}p(x)=1/nxXk > 0 m e k + ( n - m ) e - k = n . e k / n 2 n m { 1 , , n } 2 мm{1,,n/2}k>0

mek+(nm)ek=n.
ek/n2nm{1,,n}2mиз этих точек в каждой строке и каждом столбце. (Это можно сделать несколькими способами. Начните, например, с первых точек в первой строке, а затем заполните оставшиеся строки, сдвинув точек на одну вправо с циклическим граничным условием для каждой строки). Поместим точечную массу в оставшиеся точки. Сумма этих точечных масс равна поэтому они дают меру вероятности. Все предельные вероятности точки: поэтому оба маргинальных распределения одинаковы.м е - к / н 2 н 2 - н м н мmmek/n2n2nmм
nmn2ek+n2nmn2ek=mek+(nm)ekn=1,
mn2ek+mnn2ek=1n,

По построению ясно, что для всех и (после некоторых вычисления) с взаимная информация ведет себя как для и как для .x , y { 1 , , n } I ( X ; Y ) = k n mpmi(x,y){k,k},x,y{1,,n}

I(X;Y)=knmn2ekkn2nmn2ek=k(1ekekek(ek+ek)ek),
k2/2k0kk

NRH
источник
1

Я не уверен, что это то, что вы ищете, так как оно в основном алгебраическое и не использует свойства p как вероятностного распределения, но вот что вы можете попробовать.

p(x,y)p(x)p(y)ekp(x,y)p(x)p(y)ekp(x,y)I(X;Y)I(X;Y)x,yp(x)p(y)eklog(p(x)p(y)ekp(x)p(y))=x,yp(x)p(y)ekk

Я не уверен, полезно это или нет.

РЕДАКТИРОВАТЬ: После дальнейшего рассмотрения я считаю, что это на самом деле менее полезно, чем исходная верхняя граница k. Я не буду удалять это, хотя в случае, если это может намекнуть в начальной точке.

Майкл МакГоуэн
источник
x,yp(x)p(y)=1k0ek1
Да, когда я понял, что сделал свое редактирование.
Майкл МакГоуэн