Сбор информации, взаимная информация и соответствующие меры

33

Эндрю Мор определяет получение информации как:

IG(Y|X)=H(Y)H(Y|X)

где - условная энтропия . Однако Википедия называет вышеуказанное количество взаимной информацией .H(Y|X)

В Википедии, с другой стороны, прирост информации определяется как расхождение Кульбака – Лейблера (иначе говоря, расхождение информации или относительная энтропия) между двумя случайными переменными:

DKL(P||Q)=H(P,Q)H(P)

где определяется как кросс-энтропия .H(P,Q)

Эти два определения кажутся несовместимыми друг с другом.

Я также видел, как другие авторы говорили о двух дополнительных связанных понятиях, а именно: дифференциальной энтропии и относительном получении информации.

Каково точное определение или связь между этими величинами? Есть хороший учебник, который охватывает их все?

  • Получение информации
  • Взаимная информация
  • Перекрестная энтропия
  • Условная энтропия
  • Дифференциальная энтропия
  • Относительный прирост информации
Амелио Васкес-Рейна
источник
2
Чтобы еще больше усилить путаницу, обратите внимание, что обозначение, которое вы использовали для перекрестной энтропии, также является обозначением, используемым для совместной энтропии. Я использовал для кросс-энтропии, чтобы не запутаться, но это для моей пользы, и я никогда не видел эту запись в другом месте. Hx(P,Q)
Майкл МакГоуэн

Ответы:

24

Я думаю, что называть расхождение Кульбака-Лейблера «информационным приростом» нестандартно.

Первое определение является стандартным.

РЕДАКТИРОВАТЬ: Однако также можно назвать взаимной информацией.H(Y)H(Y|X)

Обратите внимание, что я не думаю, что вы найдете какую-либо научную дисциплину, которая действительно имеет стандартизированную, точную и последовательную схему именования. Таким образом, вы всегда должны смотреть на формулы, потому что они, как правило, дают вам лучшее представление.

Учебники: см. «Хорошее введение в различные виды энтропии» .

Также: Cosma Shalizi: Методы и техники науки о сложных системах: обзор, глава 1 (стр. 33-114), Томас С. Дейсбок и Дж. Яша Креш (ред.), Наука о сложных системах в биомедицине http: // arxiv.org/abs/nlin.AO/0307015

Роберт М. Грей: теория энтропии и информации http://ee.stanford.edu/~gray/it.html

Дэвид Маккей: теория информации, умозаключения и алгоритмы обучения http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

также «Что такое« энтропия и получение информации »?»

wolf.rauch
источник
Спасибо @ волк. Я склонен принять этот ответ. Если первое определение стандартное, как бы вы определили взаимную информацию?
Амелио Васкес-Рейна
2
извиняюсь. первая величина, , также часто называется взаимной информацией. Это случай противоречивого именования. Как я уже сказал, я не думаю, что существует какое-либо непротиворечивое, однозначное, однозначное соответствие понятий и имен. Например, «взаимная информация» или «получение информации» - это особый случай расхождения KL, так что эта статья в Википедии не так уж и далека. IG(Y|X)=H(Y)H(Y|X)
wolf.rauch
4

p(X,Y)P(X)P(Y)

I(X;Y)=H(Y)H(YX)=yp(y)logp(y)+x,yp(x)p(yx)logp(yx)=x,yp(x,y)logp(yx)y(xp(x,y))logp(y)=x,yp(x,y)logp(yx)x,yp(x,y)logp(y)=x,yp(x,y)logp(yx)p(y)=x,yp(x,y)logp(yx)p(x)p(y)p(x)=x,yp(x,y)logp(x,y)p(y)p(x)=DKL(P(X,Y)∣∣P(X)P(Y))

p(y)=xp(x,y)

Крис Элгуг
источник
1

Взаимная информация может быть определена с использованием Kullback-Liebler как

я(Икс;Y)знак равноDКL(п(Икс,год)||п(Икс)п(год)),
yters
источник
1

Извлечение взаимной информации из текстовых наборов данных как функция для обучения модели машинного обучения: (задача состояла в том, чтобы предсказать возраст, пол и личность блоггеров)

enter image description here

Krebto
источник
1

Оба определения являются правильными и последовательными. Я не уверен, что вы находите неясным, поскольку вы указываете на несколько моментов, которые могут нуждаться в разъяснении.

Во-первых :MяMUTUaLяNеормaTяоN ягяNеормaTяоNгaяNяяNеормaTяоNвсе разные имена для одной и той же вещи. В разных контекстах одно из этих имен может быть предпочтительным, я буду называть его здесь Информация .

Вторая точка является соотношение между дивергенции Кульбака-Лейблера -DКLи информация . Дивергенция Кульбака – Лейблера является просто мерой различия между двумя распределениями. Информация может быть определена в этих терминах распределений несходства (см Yters' ответ). Таким образом, информация является частным случаемКLD, гдеKLD is applied to measure the difference between the actual joint distribution of two variables (which captures their dependence) and the hypothetical joint distribution of the same variables, were they to be independent. We call that quantity Information.

The third point to clarify is the inconsistent, though standard notation being used, namely that H(X,Y) is both the notation for Joint entropy and for Cross-entropy as well.

So, for example, in the definition of Information:

in both last lines, H(X,Y) is the joint entropy. This may seem inconsistent with the definition in the Information gain page however: DKL(P||Q)=H(P,Q)H(P) but you did not fail to quote the important clarification - H(P,Q) is being used there as the cross-entropy (as is the case too in the cross entropy page).

Joint-entropy and Cross-entropy are NOT the same.

Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered - Hq(p)

I would hope to see this notation accepted and the wiki-pages updated.

אלימלך שרייבר
источник
wonder why the equations are not displayed properly..
Shaohua Li