Коэффициент Бхаттачарьи определяется как
DB(p,q)=∫p(x)q(x)−−−−−−−√dx
и может быть превращен в расстояние
dH(p,q) , как
dH(p,q)={1−DB(p,q)}1/2
, который называется
Хеллингер расстояние. Связь между этим
расстоянием Хеллингераи
расходимостью Кульбака-Лейблераравна
dKL(p∥q)≥2d2H(p,q)=2{1−DB(p,q)}.
Однако это не вопрос: если расстояние Бхаттачарьи определено как
dB(p,q)=def−logDB(p,q),
то
dB(p,q)=−logDB(p,q)=−log∫p(x)q(x)−−−−−−−√dx=def−log∫h(x)dx=−log∫h(x)p(x)p(x)dx≤∫−log{h(x)p(x)}p(x)dx=∫−12log{h2(x)p2(x)}p(x)dx=∫−12log{q(x)p(x)}p(x)dx=12dKL(p∥q)
Отсюда и неравенство между эти два расстояния:
dKL(p∥q)≥2dB(p,q).
Тогда можно задаться вопросом, следует ли это неравенство из первого. Это происходит наоборот:
−log(x)≥1−x0≤x≤1,
у нас есть полный порядок
dKL(p∥q)≥2dB(p,q)≥2dH(p,q)2.
Я не знаю какой-либо явной связи между ними, но решил быстро ткнуть в них, чтобы посмотреть, что я смог найти. Так что это не столько ответ, сколько интересный вопрос.
Для простоты давайте поработаем над дискретными распределениями. Мы можем записать расстояние до нашей эры как
и дивергенция KL как
Теперь мы не можем поместить журнал в сумму на расстоянии , поэтому давайте попробуем вытащить журнал за пределы расхождения :BC KL
Рассмотрим их поведение при фиксированном как равномерное распределение по возможностям:p n
Слева у нас есть журнал чего-то похожего по форме на среднее геометрическое . Справа мы имеем что-то похожее на логарифм среднего арифметического . Как я уже сказал, это не очень хороший ответ, но я думаю, что он дает четкое представление о том, как расстояние до н.э. и дивергенция KL реагируют на отклонения между и .p q
источник