Я видел пару выступлений не-статистиков, где они, похоже, заново изобретают меры корреляции, используя взаимную информацию, а не регрессию (или эквивалентные / тесно связанные статистические тесты).
Я полагаю, есть веская причина, по которой статистики не используют такой подход. Мое непрофессионал понимает, что оценки энтропии / взаимной информации, как правило, являются проблемными и нестабильными. Я полагаю, что в результате мощность также является проблематичной: они пытаются обойти это, утверждая, что они не используют параметрическую среду тестирования. Обычно такая работа не связана с расчетами мощности или даже с доверительными / достоверными интервалами.
Но чтобы занять позицию защитника дьявола, разве медленная конвергенция настолько важна, когда наборы данных чрезвычайно велики? Кроме того, иногда эти методы, кажется, «работают» в том смысле, что ассоциации подтверждаются последующими исследованиями. Какова лучшая критика против использования взаимной информации в качестве меры ассоциации и почему она не широко используется в статистической практике?
редактировать: Кроме того, есть ли хорошие документы, которые освещают эти вопросы?
источник
Ответы:
Я думаю, что вы должны различать категориальные (дискретные) данные и непрерывные данные.
Для непрерывных данных корреляция Пирсона измеряет линейные (монотонные) отношения, ранговая корреляция - монотонные отношения.
МИ, с другой стороны, «обнаруживает» любые отношения. Обычно это не то, что вас интересует и / или может быть шумом. В частности, вы должны оценить плотность распределения. Но поскольку он непрерывный, вы сначала должны создать гистограмму [дискретные ячейки], а затем вычислить MI. Но так как MI допускает любые отношения, MI изменится, когда вы будете использовать меньшие корзины (то есть, вы позволите больше покачиваний). Таким образом, вы можете видеть, что оценка MI будет очень нестабильной, не позволяя вам устанавливать какие-либо доверительные интервалы для оценки и т. Д. [То же самое происходит, если вы проводите непрерывную оценку плотности.] В принципе, есть слишком много вещей, чтобы оценить, прежде чем вычислять МИ.
С другой стороны, категориальные данные очень хорошо вписываются в структуру MI (см. G-test), и выбирать между G-test и chi-squared не так уж и много.
источник