Соотношение расстояний и взаимная информация

Я работал с взаимной информацией в течение некоторого времени. Но я нашел очень недавнюю меру в «мире корреляции», которую также можно использовать для измерения независимости распределения, так называемой «корреляции расстояний» (также называемой броуновской корреляцией): http://en.wikipedia.org/wiki/Brownian_covariance , Я проверил документы, где вводится эта мера, но не нашел никаких ссылок на взаимную информацию.

Итак, мои вопросы:

Они решают точно такую же проблему? Если нет, то как проблемы разные?
И если на предыдущий вопрос можно ответить положительно, каковы преимущества использования того или другого?

correlation mutual-information distance-covariance dsign
источник

Попробуйте явно записать «дистанционная корреляция» и «взаимная информация» для простого примера. Во втором случае вы получите логарифмы, а в первом - нет.

Петр Мигдаль

@PiotrMigdal Да, я знаю об этой разнице. Не могли бы вы объяснить, почему это важно? Пожалуйста, примите во внимание, что я не статистик ...

dsign

Для стандартного инструмента измерения взаимной зависимости вероятностных распределений используется взаимная информация. У этого есть много хороших свойств, и его интерпретация проста. Однако могут быть специфические проблемы, когда предпочтительна дистанционная корреляция (но я никогда не использовал ее в своей жизни). Так какую проблему вы пытаетесь решить?

Петр Мигдаль

Этот комментарий опоздал на несколько лет, но Департамент статистики Колумбийского университета сделал 2013-2014 учебный год годом внимания к мерам зависимости. В апреле-мае 2014 года был проведен семинар, на котором собрались ведущие ученые, работающие в этой области, в том числе «Братья Решеф» (MIC), Габор Секели (корреляции расстояний), Субхадип Мухопадхай и многие другие. Вот ссылка на программу, которая включает в себя множество PDF-файлов из презентаций. зависимость2013.wikischolars.columbia.edu/…

Майк Хантер

Ответы:

Информация / взаимная информация не зависит от возможных значений, она зависит только от вероятностей, поэтому она менее чувствительна. Корреляция расстояний является более мощной и простой для вычисления. Для сравнения см.

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf

Габор Дж. Секели
источник

Привет спасибо за ответ Документ, на который вы ссылаетесь, посвящен MIC, который, я считаю, немного больше, чем MI. Я реализовал меру корреляции расстояний, и я не думаю, что она будет проще, чем МИ для элементарного случая дискретных категориальных переменных. С другой стороны, одна вещь, которую я узнал, состоит в том, что DCM хорошо определен и ведет себя хорошо для непрерывных переменных, но с MI вам нужно делать биннинг или модные вещи, такие как MIC.

подписать

Однако DCM, похоже, нуждается в квадратных матрицах, стороной которых является количество выборок. Другими словами, сложность пространства масштабируется квадратично. Или, по крайней мере, это мое впечатление, я бы хотел ошибиться. MIC работает лучше, потому что вы можете настроить его на какой-то компромисс между точностью и производительностью.

подписать