После долгих размышлений о Cross Validated я все еще не чувствую, что я ближе к пониманию дивергенции KL вне области теории информации. Это довольно странно, когда кто-то с математическим образованием находит, что гораздо легче понять объяснение теории информации. Чтобы изложить мое понимание на...
Я использовал принцип максимальной энтропии, чтобы оправдать использование нескольких дистрибутивов в различных условиях; однако мне еще не удалось сформулировать статистическую, а не теоретико-информационную интерпретацию максимальной энтропии. Другими словами, что означает максимизация энтропии в...
В большинстве ресурсов о правильных правилах оценки упоминается ряд различных правил оценки, таких как потеря журнала, оценка Бриера или сферическая оценка. Тем не менее, они часто не дают больших указаний на различия между ними. (Приложение A: Википедия .) Выбор модели, которая максимизирует...
Я не уверен, что предмет входит в CrossValidated интерес. Вы скажете мне. Я должен изучить граф (из теории графов ) т.е. У меня есть определенное количество точек, которые связаны между собой. У меня есть таблица со всеми точками и точками, от которых зависит каждая. (У меня есть еще одна таблица с...
Я изучаю деревья классификации и регрессии, и одним из показателей местоположения разделения является оценка GINI. Теперь я привык определять лучшее место разделения, когда логарифм отношения правдоподобия одних и тех же данных между двумя распределениями равен нулю, что означает, что вероятность...
Что значит сказать, что «дисперсия является необъективной оценкой». Что означает преобразование смещенной оценки в несмещенную оценку с помощью простой формулы. Что именно делает это преобразование? Кроме того, какова практическая польза от этого преобразования? Вы конвертируете эти баллы при...
В частности, я ищу ссылки (документы, книги), которые будут строго показывать и объяснять проклятие размерности. Этот вопрос возник после того, как я начал читать эту белую бумагу по Лафферти и Вассермана. В третьем абзаце упоминается «хорошо известное» уравнение, из которого следует, что наилучшая...
У меня проблемы с пониманием концепции случайной величины как функции. Я понимаю механику (я думаю), но я не понимаю мотивации ... Скажет (Ω,B,P)(Ω,В,п)(\Omega, B, P) представляет собой вероятность того, тройной, где Ω=[0,1]Ωзнак равно[0,1]\Omega = [0,1] , BВB представляет собой Борель σσ\sigma -...
Мне интересно узнать больше о непараметрических байесовских (и связанных с ними) методах. Я имею опыт работы в области компьютерных наук, и хотя я никогда не проходил курсы по теории меры или теории вероятностей, у меня было ограниченное количество формальных занятий по вероятности и статистике....
(Чтобы понять, почему я написал это, проверьте комментарии ниже моего ответа на этот вопрос .) Ошибки типа III и теория статистических решений Правильный ответ на неправильный вопрос иногда называют ошибкой типа III. Теория статистических решений - это формализация принятия решений в условиях...
Совсем недавно я прочитал две статьи. Первый - об истории корреляции, а второй - о новом методе, названном максимальным информационным коэффициентом (MIC). Мне нужна ваша помощь, чтобы понять метод MIC для оценки нелинейных корреляций между переменными. Более того, инструкции по его использованию в...
Точность определяется как: p = true positives / (true positives + false positives) Является ли это исправить , что, как true positivesи false positivesподход 0, точность приближается к 1? Тот же вопрос для отзыва: r = true positives / (true positives + false negatives) В настоящее время я выполняю...
Мне было интересно, если кто-то знает или существует приложение в статистике, в котором требуется сильная согласованность оценки вместо слабой согласованности. То есть для приложения необходима строгая согласованность, и приложение не будет работать со слабой...
В определении совместно типичных множеств (в «Элементах теории информации», гл. 7.6, с. 195) мы используем пр(хп)=П п я = 1 р(хя)- 1Nжурналр ( хN)-1Nжурналп(ИксN)-\frac{1}{n} \log{p(x^n)} в качестве эмпирической энтропии в качестве -sequence с . Я никогда не сталкивался с этой терминологией...
В основном теоретический вопрос. Есть ли примеры ненормальных распределений, у которых первые четыре момента равны нормальным? Могут ли они существовать в...
Если я фиксирую значения наблюдаемых узлов MRF, становится ли он
Почему дивергенция КЛ неотрицательна? С точки зрения теории информации у меня есть такое интуитивное понимание: Скажем, есть два ансамбля AAA и BBB которые состоят из одного и того же набора элементов, помеченных знаком xxx . p(x)p(x)p(x) и q(x)q(x)q(x) - разные распределения вероятностей по...
Рассмотрим следующие два вероятностных распределения. P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Я рассчитал дивергенцию Кульбака-Лейблера, равную , я хочу знать, в целом, что показывает это число? Вообще, дивергенция Кульбака-Лейблера...
Предположим, у меня есть два набора XXX и YYY и совместное распределение вероятностей по этим наборам p(x,y)p(x,y)p(x,y) . Пусть p(x)p(x)p(x) и p(y)p(y)p(y) обозначают маргинальные распределения по XXX и YYY соответственно. Взаимная информация между XXX и YYY определяется следующим образом:...
С фиксированным априором оценки ML (частота - максимальная вероятность) и MAP (байесовская апостериорная) совпадают. В целом, однако, я говорю о точечных оценках, полученных как оптимизаторы некоторой функции потерь. Т.е. (Bayesian) х...