Для произвольной непрерывной случайной величины, скажем, XXX , всегда ли ее дифференциальная энтропия меньше ∞∞\infty ? (Это нормально, если это −∞−∞-\infty .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем...
Дифференциальная энтропия гауссовых RV равна . Это зависит от , который является стандартным отклонением.σlog2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Если мы нормализуем случайную переменную так, чтобы она имела единичную дисперсию, ее дифференциальная энтропия падает. Для меня...
Есть ли какое-либо применение для количества в статистике или теории информации?∫е( х )2dИкс∫е(Икс)2dИкс \int f(x)^2 dx
Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?...
В течение прошлого года я довольно тесно работал над выборкой важных данных, и у меня есть несколько открытых вопросов, с которыми я надеялся получить некоторую помощь. Мой практический опыт работы со схемами выборки по важности заключался в том, что они могут иногда давать фантастические оценки с...
Что касается названия, идея состоит в том, чтобы использовать взаимную информацию, здесь и после MI, для оценки «корреляции» (определяемой как «насколько я знаю об A, когда я знаю B») между непрерывной переменной и категориальной переменной. Я расскажу вам свои мысли по этому вопросу через минуту,...
Примечание: этот вопрос является репостом, так как мой предыдущий вопрос пришлось удалить по юридическим причинам. Сравнивая PROC MIXED из SAS с функцией lmeиз nlmeпакета в R, я наткнулся на некоторые довольно запутанные различия. Более конкретно, степени свободы в разных тестах различаются между...
(Я разместил аналогичный вопрос на math.se. ) В информационной геометрии детерминант информационной матрицы Фишера представляет собой естественную форму объема на статистическом многообразии, поэтому он имеет хорошую геометрическую интерпретацию. Например, тот факт, что он фигурирует в определении...
Я хотел бы рассчитать дивергенцию Дженсена-Шеннона для следующих трех распределений. Является ли приведенный ниже расчет правильным? (Я следовал формуле JSD из Википедии ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) =...
Из Википедии есть определение информационного критерия Акаике (AIC) как , где - число параметров, а \ log L - логарифмическая вероятность модели.k log LAIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkkжурналLlogL\log L Тем не менее, наша эконометрика отмечает в уважаемом университете, что А яС=...
Простейшая форма информационно-теоретического CLT заключается в следующем: Пусть будут iid со средним и дисперсией 1 . Пусть f_n - плотность нормализованной суммы \ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}}, а \ phi - стандартная гауссовская плотность. Тогда теоретико-информационный CLT...
Может ли взаимная информация по совместной энтропии: 0 ≤ I( Х, Y)ЧАС( Х, Y)≤ 10≤я(Икс,Y)ЧАС(Икс,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 быть определено как: «вероятность передачи части информации от X до Y»? Прошу прощения за наивность, но я никогда не изучал теорию информации, и я просто пытаюсь...
Я написал программу для имитации сверху вниз перетасовать карты. Каждая карта пронумерована, начиная с масти CLUBS, DIAMONDS, HEARTS, SPADESи ранга от двух до десяти, затем Джек, Королева, Король и Туз. Таким образом, у двух клубов число 1, у трех клубов 2 ... Туз треф составляет 13 ... Туз пик...
У меня есть очень основные сомнения. Извините, если это немного раздражает. Я знаю, что значение Взаимной информации должно быть больше 0, но должно ли оно быть меньше 1? Это ограничено каким-либо верхним значением? Спасибо,...
Или какие условия это гарантируют? В целом (и не только для нормальных и биномиальных моделей) я полагаю, что главная причина, которая нарушила это утверждение, состоит в том, что существует несоответствие между моделью выборки и предыдущей, но что еще? Я начинаю с этой темы, поэтому я очень ценю...
Что является хорошим показателем для оценки качества анализа главных компонентов (PCA)? Я выполнил этот алгоритм на наборе данных. Моей целью было уменьшить количество функций (информация была очень избыточной). Я знаю, что процент сохраняемой дисперсии является хорошим показателем того, сколько...
Я пытаюсь применить идею взаимной информации к выбору функций, как описано в этих примечаниях к лекции (на странице 5). Моя платформа - Matlab. Одна проблема, которую я нахожу при вычислении взаимной информации из эмпирических данных, состоит в том, что число всегда смещено вверх. Я нашел около 3 ~...
Я хочу количественно определить отношения между двумя переменными, A и B, используя взаимную информацию. Способ вычислить его - связать наблюдения (см. Пример кода Python ниже). Однако какие факторы определяют, какое количество лотков является разумным? Мне нужно, чтобы вычисления были быстрыми,...
Я немного смущен. Может ли кто-нибудь объяснить мне, как рассчитать взаимную информацию между двумя терминами на основе матрицы терминов-документов с использованием двоичных терминов в виде весов?...
В своем исследовании я столкнулся со следующей общей проблемой: у меня есть два распределения и в одной и той же области и большое (но конечное) число выборок из этих распределений. Выборки независимо и идентично распределяются из одного из этих двух распределений (хотя распределения могут быть...