Вопросы с тегом «information-theory»

Я видел здесь несколько вопросов о том, что это значит с точки зрения непрофессионала, но они слишком непрофессиональны для моей цели здесь. Я пытаюсь математически понять, что означает оценка AIC. Но в то же время я не хочу строгого доказательства, которое заставило бы меня не видеть более важные...

Эндрю Мор определяет получение информации как: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) где - условная энтропия . Однако Википедия называет вышеуказанное количество взаимной информацией .H(Y|X)H(Y|X)H(Y|X) В Википедии, с другой стороны, прирост информации определяется как...

Я ищу интуитивное объяснение для следующих вопросов: В статистике и теории информации, в чем разница между расстоянием Бхаттачарьи и расхождением KL, как мерами разницы между двумя дискретными распределениями вероятностей? Разве они не имеют абсолютно никаких отношений и измеряют расстояние между...

Существуют ли меры сходства или расстояния между двумя симметричными ковариационными матрицами (обе имеют одинаковые размеры)? Я имею в виду аналоги KL-расходимости двух вероятностных распределений или евклидова расстояния между векторами, за исключением примененных к матрицам. Я предполагаю, что...

Я использовал принцип максимальной энтропии, чтобы оправдать использование нескольких дистрибутивов в различных условиях; однако мне еще не удалось сформулировать статистическую, а не теоретико-информационную интерпретацию максимальной энтропии. Другими словами, что означает максимизация энтропии в...

После долгих размышлений о Cross Validated я все еще не чувствую, что я ближе к пониманию дивергенции KL вне области теории информации. Это довольно странно, когда кто-то с математическим образованием находит, что гораздо легче понять объяснение теории информации. Чтобы изложить мое понимание на...

Я изучаю деревья классификации и регрессии, и одним из показателей местоположения разделения является оценка GINI. Теперь я привык определять лучшее место разделения, когда логарифм отношения правдоподобия одних и тех же данных между двумя распределениями равен нулю, что означает, что вероятность...

Совсем недавно я прочитал две статьи. Первый - об истории корреляции, а второй - о новом методе, названном максимальным информационным коэффициентом (MIC). Мне нужна ваша помощь, чтобы понять метод MIC для оценки нелинейных корреляций между переменными. Более того, инструкции по его использованию в...

Точность определяется как: p = true positives / (true positives + false positives) Является ли это исправить , что, как true positivesи false positivesподход 0, точность приближается к 1? Тот же вопрос для отзыва: r = true positives / (true positives + false negatives) В настоящее время я выполняю...

В определении совместно типичных множеств (в «Элементах теории информации», гл. 7.6, с. 195) мы используем пр(хп)=П п я = 1 р(хя)- 1Nжурналр ( хN)-1Nжурнал⁡п(ИксN)-\frac{1}{n} \log{p(x^n)} в качестве эмпирической энтропии в качестве -sequence с . Я никогда не сталкивался с этой терминологией...

Почему дивергенция КЛ неотрицательна? С точки зрения теории информации у меня есть такое интуитивное понимание: Скажем, есть два ансамбля AAA и BBB которые состоят из одного и того же набора элементов, помеченных знаком xxx . p(x)p(x)p(x) и q(x)q(x)q(x) - разные распределения вероятностей по...

Предположим, у меня есть два набора XXX и YYY и совместное распределение вероятностей по этим наборам p(x,y)p(x,y)p(x,y) . Пусть p(x)p(x)p(x) и p(y)p(y)p(y) обозначают маргинальные распределения по XXX и YYY соответственно. Взаимная информация между XXX и YYY определяется следующим образом:...

Рассмотрим следующие два вероятностных распределения. P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Я рассчитал дивергенцию Кульбака-Лейблера, равную , я хочу знать, в целом, что показывает это число? Вообще, дивергенция Кульбака-Лейблера...

Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования...

Этот вопрос дает количественное определение кросс-энтропии с точки зрения ее формулы. Я ищу более условное определение, википедия говорит: В теории информации кросс-энтропия между двумя распределениями вероятностей измеряет среднее число битов, необходимое для идентификации события из набора...

Недавно я прочитал эту статью об энтропии дискретного распределения вероятностей. Он описывает хороший способ восприятия энтропии как ожидаемых числовых битов (по крайней мере, при использовании в определении энтропии), необходимых для кодирования сообщения, когда ваша кодировка оптимальна,...

Я попытался вычислить AIC линейной регрессии в R, но без использования AICфункции, например: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Тем не менее, AICдает другое значение: AIC(lm_mtcars) [1]...

Не ссылаясь на источники, Википедия определяет кросс-энтропию дискретных распределений и Q какппPQQQ ЧАС×( P; Q )= - ∑Икср ( х )журналQ( Х ) .ЧАС×(п;Q)знак равно-ΣИксп(Икс)журнал⁡Q(Икс),\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Кто первым начал использовать...

Я думал, что концепция типичного набора довольно интуитивна: последовательность длины будет принадлежать типичному набору A ( n ) ϵ, если вероятность выхода последовательности будет высокой. Таким образом, любая последовательность, которая была бы вероятна, была бы в A ( n ) ϵ . (Я избегаю...

Модели гауссовых смесей (GMM) привлекательны, потому что с ними просто работать как в аналитическом, так и на практическом плане, и они способны моделировать некоторые экзотические распределения без особых сложностей. Есть несколько аналитических свойств, которые мы должны ожидать, которые в целом...