взаимная информация - это концепция из теории информации. Это мера совместной зависимости между двумя случайными величинами, которая, в отличие от обычного коэффициента корреляции, не ограничивается скалярными переменными.
Почему и когда мы должны использовать Взаимную информацию для статистических измерений корреляции, таких как «Пирсон», «Спирман» или «Тау
Совсем недавно я прочитал две статьи. Первый - об истории корреляции, а второй - о новом методе, названном максимальным информационным коэффициентом (MIC). Мне нужна ваша помощь, чтобы понять метод MIC для оценки нелинейных корреляций между переменными. Более того, инструкции по его использованию в...
Предположим, у меня есть два набора XXX и YYY и совместное распределение вероятностей по этим наборам p(x,y)p(x,y)p(x,y) . Пусть p(x)p(x)p(x) и p(y)p(y)p(y) обозначают маргинальные распределения по XXX и YYY соответственно. Взаимная информация между XXX и YYY определяется следующим образом:...
мой вопрос особенно касается реконструкции
Я работал с взаимной информацией в течение некоторого времени. Но я нашел очень недавнюю меру в «мире корреляции», которую также можно использовать для измерения независимости распределения, так называемой «корреляции расстояний» (также называемой броуновской корреляцией):...
Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования...
При взгляде на собственные векторы ковариационной матрицы мы получаем направления максимальной дисперсии (первый собственный вектор - это направление, в котором данные наиболее сильно варьируются и т. Д.); это называется анализ главных компонентов (PCA). Мне было интересно, что это будет означать,...
Что касается названия, идея состоит в том, чтобы использовать взаимную информацию, здесь и после MI, для оценки «корреляции» (определяемой как «насколько я знаю об A, когда я знаю B») между непрерывной переменной и категориальной переменной. Я расскажу вам свои мысли по этому вопросу через минуту,...
Может ли взаимная информация по совместной энтропии: 0 ≤ I( Х, Y)ЧАС( Х, Y)≤ 10≤я(Икс,Y)ЧАС(Икс,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 быть определено как: «вероятность передачи части информации от X до Y»? Прошу прощения за наивность, но я никогда не изучал теорию информации, и я просто пытаюсь...
Один из способов создания встраивания слов заключается в следующем ( зеркало ): Получите корпус, например: «Мне нравится летать. Мне нравится НЛП. Мне нравится глубокое обучение». Создайте матрицу словосочетания из него: Выполните SVD на ИксИксX и сохраните первые ККk столбцов U. U1 : | В|...
У меня есть очень основные сомнения. Извините, если это немного раздражает. Я знаю, что значение Взаимной информации должно быть больше 0, но должно ли оно быть меньше 1? Это ограничено каким-либо верхним значением? Спасибо,...
Здесь «вес доказательств» (WOE) - это общий термин в опубликованной научной и политической литературе, чаще всего встречающийся в контексте оценки риска, определяемый как: w(e:h)=logp(e|h)p(e|h¯¯¯)вес(е:час)знак равножурналп(е|час)п(е|час¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} где -...
Я видел пару выступлений не-статистиков, где они, похоже, заново изобретают меры корреляции, используя взаимную информацию, а не регрессию (или эквивалентные / тесно связанные статистические тесты). Я полагаю, есть веская причина, по которой статистики не используют такой подход. Мое непрофессионал...
Я немного смущен. Может ли кто-нибудь объяснить мне, как рассчитать взаимную информацию между двумя терминами на основе матрицы терминов-документов с использованием двоичных терминов в виде весов?...
Я пытаюсь применить идею взаимной информации к выбору функций, как описано в этих примечаниях к лекции (на странице 5). Моя платформа - Matlab. Одна проблема, которую я нахожу при вычислении взаимной информации из эмпирических данных, состоит в том, что число всегда смещено вверх. Я нашел около 3 ~...
Я хочу количественно определить отношения между двумя переменными, A и B, используя взаимную информацию. Способ вычислить его - связать наблюдения (см. Пример кода Python ниже). Однако какие факторы определяют, какое количество лотков является разумным? Мне нужно, чтобы вычисления были быстрыми,...
Предположим, у меня есть одна выборка частот из 4 возможных событий: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 и у меня есть ожидаемые вероятности того, что мои события произойдут: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 С суммой наблюдаемых частот моих четырех событий (18) я могу рассчитать ожидаемые частоты...
У меня проблемы с построением некоторой интуиции о совместной энтропии. = неопределенность в совместном распределении ; = неопределенность в ; = неопределенность в .p ( x , y ) H ( X ) p x ( x ) H ( Y ) p y ( y )ЧАС( Х, Y)ЧАС(Икс,Y)H(X,Y)р ( х , у)п(Икс,Y)p(x,y)ЧАС( Х)ЧАС(Икс)H(X)пИкс( х...
Я пытаюсь понять нормализованную форму точечной взаимной информации. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Почему логарифмическая вероятность нормализует точечную взаимную информацию между [-1, 1]? Точечная взаимная информация:...
В чем разница между взаимной корреляцией и взаимной информацией. Какие проблемы можно решить с помощью этих мер и когда уместно использовать одну над другой. Спасибо за комментарии. Чтобы прояснить, вопрос вызван интересом к анализу iomage, а не анализу временных рядов, хотя любое просвещение в...