Различия между расстоянием Бхаттачарья и расхождением КЛ

33

Я ищу интуитивное объяснение для следующих вопросов:

В статистике и теории информации, в чем разница между расстоянием Бхаттачарьи и расхождением KL, как мерами разницы между двумя дискретными распределениями вероятностей?

Разве они не имеют абсолютно никаких отношений и измеряют расстояние между двумя вероятностными распределениями совершенно по-другому?

JewelSue
источник

Ответы:

36

Коэффициент Бхаттачарьи определяется как

DB(p,q)=p(x)q(x)dx
и может быть превращен в расстояниеdH(p,q) , как
dH(p,q)={1DB(p,q)}1/2
, который называетсяХеллингер расстояние. Связь между этимрасстоянием Хеллингераирасходимостью Кульбака-Лейблераравна
dKL(pq)2dH2(p,q)=2{1DB(p,q)}.

Однако это не вопрос: если расстояние Бхаттачарьи определено как

dB(p,q)=deflogDB(p,q),
то
dB(p,q)=logDB(p,q)=logp(x)q(x)dx=deflogh(x)dx=logh(x)p(x)p(x)dxlog{h(x)p(x)}p(x)dx=12log{h2(x)p2(x)}p(x)dx=12log{q(x)p(x)}p(x)dx=12dKL(pq)
Отсюда и неравенство между эти два расстояния:
dKL(pq)2dB(p,q).
Тогда можно задаться вопросом, следует ли это неравенство из первого. Это происходит наоборот:
log(x)1x0x1,
введите описание изображения здесь

у нас есть полный порядок

dKL(pq)2dB(p,q)2dH(p,q)2.
Сиань
источник
2
Brilliant! Это объяснение должно быть то, что я ищу с нетерпением. Еще один последний вопрос: в каком случае (или какие виды P и Q) неравенство станет равенством?
JewelSue
1
Учитывая, что функция строго выпуклая, я бы предположил, что единственный случай равенства - это когда отношение является постоянным по . log()p(x)/q(x)x
Сиань
5
И единственный случай, когда является постоянным по это когда . p(x)/q(x)xp=q
Сиань
8

Я не знаю какой-либо явной связи между ними, но решил быстро ткнуть в них, чтобы посмотреть, что я смог найти. Так что это не столько ответ, сколько интересный вопрос.

Для простоты давайте поработаем над дискретными распределениями. Мы можем записать расстояние до нашей эры как

dBC(p,q)=lnx(p(x)q(x))12

и дивергенция KL как

dKL(p,q)=xp(x)lnp(x)q(x)

Теперь мы не можем поместить журнал в сумму на расстоянии , поэтому давайте попробуем вытащить журнал за пределы расхождения :BCKL

dKL(p,q)=lnx(q(x)p(x))p(x)

Рассмотрим их поведение при фиксированном как равномерное распределение по возможностям:pn

dKL(p,q)=lnnln(xq(x))1ndBC(p,q)=ln1nlnxq(x)

Слева у нас есть журнал чего-то похожего по форме на среднее геометрическое . Справа мы имеем что-то похожее на логарифм среднего арифметического . Как я уже сказал, это не очень хороший ответ, но я думаю, что он дает четкое представление о том, как расстояние до н.э. и дивергенция KL реагируют на отклонения между и .pq

Энди Джонс
источник