Эндрю Мор определяет получение информации как:
где - условная энтропия . Однако Википедия называет вышеуказанное количество взаимной информацией .
В Википедии, с другой стороны, прирост информации определяется как расхождение Кульбака – Лейблера (иначе говоря, расхождение информации или относительная энтропия) между двумя случайными переменными:
где определяется как кросс-энтропия .
Эти два определения кажутся несовместимыми друг с другом.
Я также видел, как другие авторы говорили о двух дополнительных связанных понятиях, а именно: дифференциальной энтропии и относительном получении информации.
Каково точное определение или связь между этими величинами? Есть хороший учебник, который охватывает их все?
- Получение информации
- Взаимная информация
- Перекрестная энтропия
- Условная энтропия
- Дифференциальная энтропия
- Относительный прирост информации
information-theory
Амелио Васкес-Рейна
источник
источник
Ответы:
Я думаю, что называть расхождение Кульбака-Лейблера «информационным приростом» нестандартно.
Первое определение является стандартным.
РЕДАКТИРОВАТЬ: Однако также можно назвать взаимной информацией.H(Y)−H(Y|X)
Обратите внимание, что я не думаю, что вы найдете какую-либо научную дисциплину, которая действительно имеет стандартизированную, точную и последовательную схему именования. Таким образом, вы всегда должны смотреть на формулы, потому что они, как правило, дают вам лучшее представление.
Учебники: см. «Хорошее введение в различные виды энтропии» .
Также: Cosma Shalizi: Методы и техники науки о сложных системах: обзор, глава 1 (стр. 33-114), Томас С. Дейсбок и Дж. Яша Креш (ред.), Наука о сложных системах в биомедицине http: // arxiv.org/abs/nlin.AO/0307015
Роберт М. Грей: теория энтропии и информации http://ee.stanford.edu/~gray/it.html
Дэвид Маккей: теория информации, умозаключения и алгоритмы обучения http://www.inference.phy.cam.ac.uk/mackay/itila/book.html
также «Что такое« энтропия и получение информации »?»
источник
источник
Взаимная информация может быть определена с использованием Kullback-Liebler как
источник
Извлечение взаимной информации из текстовых наборов данных как функция для обучения модели машинного обучения: (задача состояла в том, чтобы предсказать возраст, пол и личность блоггеров)
источник
Оба определения являются правильными и последовательными. Я не уверен, что вы находите неясным, поскольку вы указываете на несколько моментов, которые могут нуждаться в разъяснении.
Во-первых :MяMу т U а л Iн фо т т T я о п≡ ягян фо т т а т я о п Г я п≡ яян фо т т T я о п все разные имена для одной и той же вещи. В разных контекстах одно из этих имен может быть предпочтительным, я буду называть его здесь Информация .
Вторая точка является соотношение между дивергенции Кульбака-Лейблера -DКL и информация . Дивергенция Кульбака – Лейблера является просто мерой различия между двумя распределениями. Информация может быть определена в этих терминах распределений несходства (см Yters' ответ). Таким образом, информация является частным случаемКL D , гдеKLD is applied to measure the difference between the actual joint distribution of two variables (which captures their dependence) and the hypothetical joint distribution of the same variables, were they to be independent. We call that quantity Information.
The third point to clarify is the inconsistent, though standard notation being used, namely thatH(X,Y)
is both the notation for Joint entropy and for Cross-entropy as well.
So, for example, in the definition of Information:I(X;Y)≡H(X)−H(X|Y)≡H(Y)−H(Y|X)≡H(X)+H(Y)−H(X,Y)≡H(X,Y)−H(X|Y)−H(Y|X)
in both last lines, H(X,Y) is the joint entropy. This may seem inconsistent with the definition in the Information gain page however:
DKL(P||Q)=H(P,Q)−H(P) but you did not fail to quote the important clarification - H(P,Q) is being used there as the cross-entropy (as is the case too in the cross entropy page).
Joint-entropy and Cross-entropy are NOT the same.
Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered -Hq(p)
I would hope to see this notation accepted and the wiki-pages updated.
источник