Я знаю, что дивергенция KL не является симметричной, и ее нельзя строго рассматривать как метрику. Если да, то почему он используется, когда JS Divergence удовлетворяет требуемым свойствам метрики?
Существуют ли сценарии, в которых может использоваться дивергенция KL, но не дивергенция JS или наоборот?
probability
distributions
kullback-leibler
metric
user2761431
источник
источник
Ответы:
Я нашел очень зрелый ответ по Quora и просто разместил его здесь для людей, которые ищут его здесь:
источник
Дивергенция КЛ имеет четкую информационную теоретическую интерпретацию и хорошо известна; но я впервые слышу, что симметризация KL-дивергенции называется JS-дивергенцией. Причина, по которой JS-дивергенция используется не так часто, заключается в том, что она менее известна и не обладает необходимыми свойствами.
источник