Вопросы с тегом «kullback-leibler»

Асимметричная мера расстояния (или различия) между вероятностными распределениями. Это можно интерпретировать как ожидаемое значение логарифмического отношения правдоподобия согласно альтернативной гипотезе.

79
KL расхождение между двумя одномерными гауссианами

Мне нужно определить KL-расхождение между двумя гауссианами. Я сравниваю свои результаты с этими , но я не могу воспроизвести их результаты. Мой результат, очевидно, неверен, потому что KL не 0 для KL (p, p). Интересно, где я делаю ошибку и спрашиваю, может ли кто-нибудь ее заметить. Пусть и . Из...

48
Интуиция о расхождении Кульбака-Лейблера (КЛ)

Я узнал об интуиции, лежащей в основе дивергенции KL, о том, насколько функция распределения моделей отличается от теоретического / истинного распределения данных. Источник Читаю продолжает говорить о том , что интуитивное понимание «расстояний» между этими двумя распределениями является полезным,...

46
KL расхождение между двумя многомерными гауссианами

У меня проблемы с выводом формулы дивергенции KL, предполагающей два многомерных нормальных распределения. Я сделал одномерный случай довольно легко. Тем не менее, прошло довольно много времени с тех пор, как я взял статистику по математике, поэтому у меня возникли некоторые проблемы с...

39
Почему мы используем расхождение Кульбака-Лейблера, а не кросс-энтропию в целевой функции t-SNE?

На мой взгляд, расхождение KL от распределения выборки до истинного распределения - это просто разница между кросс-энтропией и энтропией. Почему мы используем перекрестную энтропию как функцию стоимости во многих моделях машинного обучения, но используем расхождение Кульбака-Лейблера в t-sne? Есть...

37
Расстояние Кульбак – Лейблер - Колмогоров-Смирнов

Я вижу, что существует много формальных различий между мерами расстояния Кульбака-Лейблера-Колмогорова-Смирнова. Тем не менее, оба используются для измерения расстояния между распределениями. Есть ли типичная ситуация, когда один должен использоваться вместо другого? Каково обоснование для этого?...

33
Различия между расстоянием Бхаттачарья и расхождением КЛ

Я ищу интуитивное объяснение для следующих вопросов: В статистике и теории информации, в чем разница между расстоянием Бхаттачарьи и расхождением KL, как мерами разницы между двумя дискретными распределениями вероятностей? Разве они не имеют абсолютно никаких отношений и измеряют расстояние между...

28
Адаптация расстояния Кульбака-Лейблера?

Посмотри на эту картину: Если мы возьмем образец из красной плотности, то ожидается, что некоторые значения будут меньше 0,25, тогда как невозможно получить такой образец из синего распределения. Как следствие, расстояние Кульбака-Лейблера от красной плотности до голубой плотности равно...

28
Меры сходства или расстояния между двумя ковариационными матрицами

Существуют ли меры сходства или расстояния между двумя симметричными ковариационными матрицами (обе имеют одинаковые размеры)? Я имею в виду аналоги KL-расходимости двух вероятностных распределений или евклидова расстояния между векторами, за исключением примененных к матрицам. Я предполагаю, что...

25
Каковы преимущества метрики Вассерштейна по сравнению с дивергенцией Кульбака-Лейблера?

В чем практическая разница между метрикой Вассерштейна и дивергенцией Кульбака-Лейблера ? Метрика Вассерштейна также называется расстоянием перемещения Земли . Из Википедии: Метрика Вассерштейна (или Вазерштейна) - это функция расстояния, определяемая между вероятностными распределениями в данном...

23
Расхождение Кульбака-Лейблера БЕЗ теории информации

После долгих размышлений о Cross Validated я все еще не чувствую, что я ближе к пониманию дивергенции KL вне области теории информации. Это довольно странно, когда кто-то с математическим образованием находит, что гораздо легче понять объяснение теории информации. Чтобы изложить мое понимание на...

21
Какова связь между показателем GINI и отношением логарифмического правдоподобия?

Я изучаю деревья классификации и регрессии, и одним из показателей местоположения разделения является оценка GINI. Теперь я привык определять лучшее место разделения, когда логарифм отношения правдоподобия одних и тех же данных между двумя распределениями равен нулю, что означает, что вероятность...

20
Связь между метрикой Фишера и относительной энтропией

Может ли кто-то доказать следующую связь между информационной метрикой Фишера и относительной энтропией (или дивергенцией KL) чисто математически строгим образом? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...

18
Анализ расхождения Кульбака-Лейблера

Рассмотрим следующие два вероятностных распределения. P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Я рассчитал дивергенцию Кульбака-Лейблера, равную , я хочу знать, в целом, что показывает это число? Вообще, дивергенция Кульбака-Лейблера...

18
Почему дивергенция КЛ неотрицательна?

Почему дивергенция КЛ неотрицательна? С точки зрения теории информации у меня есть такое интуитивное понимание: Скажем, есть два ансамбля AAA и BBB которые состоят из одного и того же набора элементов, помеченных знаком xxx . p(x)p(x)p(x) и q(x)q(x)q(x) - разные распределения вероятностей по...

14
Каково максимальное значение дивергенции Кульбака-Лейблера (КЛ)

Я собираюсь использовать дивергенцию KL в своем коде Python, и я получил это руководство . На этом уроке реализовать дивергенцию KL довольно просто. kl = (model * np.log(model/actual)).sum() Как я понимаю, распределение вероятностей modelи actualдолжно быть <= 1. Мой вопрос: какова максимальная...

14
Дивергенция Дженсена Шеннона - Дивергенция Кульбака-Лейблера?

Я знаю, что дивергенция KL не является симметричной, и ее нельзя строго рассматривать как метрику. Если да, то почему он используется, когда JS Divergence удовлетворяет требуемым свойствам метрики? Существуют ли сценарии, в которых может использоваться дивергенция KL, но не дивергенция JS или...

14
Вопросы о расхождении KL?

Я сравниваю два распределения с дивергенцией KL, которая возвращает мне нестандартизированное число, которое, согласно тому, что я читал об этой мере, представляет собой объем информации, необходимый для преобразования одной гипотезы в другую. У меня есть два вопроса: а) Есть ли способ...

12
Можно ли применить расхождение KL между дискретным и непрерывным распределением?

Я не математик. Я искал в Интернете о KL Divergence. Я узнал, что дивергенция KL измеряет потерянную информацию, когда мы приближаемся к распределению модели относительно входного распределения. Я видел это между любыми двумя непрерывными или дискретными распределениями. Можем ли мы сделать это...

12
Специальное распределение вероятностей

Если - это распределение вероятностей с ненулевыми значениями на , для какого типа (типов) существует константа такая, что для всех ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{...