Посмотри на эту картину:
Если мы возьмем образец из красной плотности, то ожидается, что некоторые значения будут меньше 0,25, тогда как невозможно получить такой образец из синего распределения. Как следствие, расстояние Кульбака-Лейблера от красной плотности до голубой плотности равно бесконечности. Тем не менее, эти две кривые не настолько различны, в некотором «естественном смысле».
Вот мой вопрос: существует ли адаптация расстояния Кульбака-Лейблера, которая позволила бы конечное расстояние между этими двумя кривыми?
kullback-leibler
ocram
источник
источник
Ответы:
Вы можете взглянуть на главу 3 Devroye, Gyorfi и Lugosi, «Вероятностная теория распознавания образов» , Springer, 1996. См., В частности, раздел о расхождениях.f
Общая форма:
где - это мера, которая доминирует над мерами, связанными с и а - выпуклая функция, удовлетворяющая . (Если и являются плотностями относительно меры Лебега, просто замените обозначение на и все готово.)p q f ( ⋅ ) f ( 1 ) = 0 p ( x ) q ( x ) d x λ ( d x )λ p q f(⋅) f(1)=0 p(x) q(x) dx λ(dx)
Мы восстановим KL, взяв . Мы можем получить разность Хеллингера с помощью и получить полное изменение или расстояние , взяв, Последний даетf ( x ) = ( 1 - √f(x)=xlogx L1f(x)= 1f(x)=(1−x−−√)2 L1 f(x)=12|x−1|
Обратите внимание, что этот последний, по крайней мере, дает вам конечный ответ.
В другой маленькой книге, озаглавленной « Оценка плотности: видL1 , Девройе настоятельно рекомендует использовать это последнее расстояние из-за его множества хороших свойств инвариантности (среди прочих). Эта последняя книга, вероятно, немного сложнее, чем первая, и, как следует из названия, немного более специализирована.
Приложение : Благодаря этому вопросу мне стало известно, что мера, которую предлагает @Didier, (с точностью до константы) известна как расхождение Дженсена-Шеннона. Если вы перейдете по ссылке на ответ, предоставленный в этом вопросе, то увидите, что квадратный корень этой величины на самом деле является метрикой и ранее был признан в литературе частным случаем дивергенции. , Мне показалось интересным, что мы, похоже, коллективно «заново изобрели» колесо (довольно быстро) посредством обсуждения этого вопроса. Интерпретация, которую я дал ему в комментарии ниже @ Ответ Дидье, также был ранее признан. На самом деле, все довольно аккуратно.f
источник
Расходимость Кульбака-Лейблера для относительно бесконечна, когда не является абсолютно непрерывным относительно , то есть когда существует измеримое множество такое, что и . Кроме того, дивергенция KL не является симметричной в том смысле, что в общем случае . Напомним, что Выходом из обоих этих недостатков, все еще основанным на расхождении KL, является введение средней точки Таким образом,κ(P|Q) P Q P Q A Q(A)=0 P(A)≠0 κ(P∣Q)≠κ(Q∣P)
Эквивалентная формулировка
Приложение 1 Введение средней точки и не является произвольным в том смысле, что где минимум превышает набор вероятностных мер.P Q
Приложение 2 @ cardinal отмечает, что также является дивергенцией для выпуклой функцииη f
источник
Колмогорова расстояние между двумя распределениями и является SUP норма их CDFs. (Это наибольшее вертикальное расхождение между двумя графиками CDF.) Оно используется в распределительном тестировании, где - предполагаемое распределение, а - эмпирическая функция распределения набора данных.P Q P Q
Трудно охарактеризовать это как «адаптацию» расстояния KL, но оно действительно отвечает другим требованиям быть «естественным» и конечным.
Кстати, поскольку дивергенция KL не является истинным «расстоянием», нам не нужно беспокоиться о сохранении всех аксиоматических свойств расстояния. Мы можем сохранить свойство неотрицательности, делая значения конечного применения любого монотонного преобразования для некоторого конечного значения . Например, обратная касательная будет в порядке.R+→[0,C] C
источник
Да, Бернардо и Реуда определили нечто, называемое «внутренним расхождением», которое для всех целей является «симметризованной» версией KL-дивергенции. Принятие расхождения KL от до за Внутреннее расхождение определяется как:P Q κ(P∣Q)
Поиск внутреннего несоответствия (или критерия байесовского критерия) даст вам несколько статей по этому показателю.
В вашем случае вы бы просто взяли KL-дивергенцию, которая конечна.
Другая альтернативная мера для KL - расстояние Хеллингера
РЕДАКТИРОВАТЬ: уточнение, некоторые высказанные замечания предположили, что внутреннее расхождение не будет конечным, когда одна плотность 0, а другая нет. Это неверно, если операция оценки нулевой плотности выполняется как предел или . Предел четко определен, и он равен для одной из дивергенций KL, а другая будет расходиться. Чтобы увидеть это примечание:Q→0 P→0 0
Принимая предел как по области интеграла, второй интеграл расходится, и первый интеграл сходится к по этой области (предполагая, что условия таковы, что можно поменять пределы и интегрирование). Это потому, что . В силу симметрии в и результат также имеет место для .P→0 0 limz→0zlog(z)=0 P Q Q
источник