В чем основное различие между корреляцией и взаимной информацией?

Ответы:

25

Корреляция измеряет линейные отношения (корреляция Пирсона) или монотонные отношения (корреляция Спирмена) между двумя переменными, X и Y.

Взаимная информация является более общей и измеряет уменьшение неопределенности в Y после наблюдения X. Это расстояние KL между плотностью соединения и произведением отдельных плотностей. Таким образом, MI может измерять немонотонные отношения и другие более сложные отношения.

Роб Хиндман
источник
3
Корреляция не обязательно является линейной - ро Спирмена полагается на монотонную функцию, и все же мы называем ее «коэффициентом корреляции», а не «коэффициентом взаимной информации». И на то есть веская причина: он предоставляет информацию об ассоциации между двумя переменными. Взаимная информация, избыточная информация, взаимная дисперсия, корреляция - эти термины очень похожи, и этот вопрос относится к реконструкции сети , поэтому я предполагаю, что мы оказались в неправильной области с правильной терминологией. Это довольно специфический вопрос ...
aL3xa
1
Хорошая точка зрения. Я отредактировал свой ответ, чтобы включить монотонные отношения. Я ничего не знаю о реконструкции сети.
Роб Хиндман
4

Чтобы добавить ответ Роба ... в отношении обратного проектирования сети, MI может быть предпочтительнее корреляции, когда вы хотите извлечь причинные, а не ассоциативные связи в вашей сети. Корреляционные сети являются чисто ассоциативными. Но для MI вам нужно больше данных и вычислительной мощности.

АРС
источник