Как рассчитать расхождение / расстояние Кульбака-Лейблера?

У меня есть три набора данных X, Y и Z. Каждый набор данных определяет частоту происходящего события. Например:

Набор данных X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 и т. Д.
Набор данных Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 и т. Д.
Набор данных Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 и т. Д.

Я должен найти KL-расхождение между X и Y; и между X и Z. Как видите, для некоторых событий будут 0 и ненулевые значения. Для некоторых событий все три набора данных равны 0.

Я был бы признателен, если кто-то может помочь мне найти дивергенцию KL для этого. Я не большой статистик, поэтому понятия не имею. Уроки, которые я просматривал в Интернете, были слишком сложными для моего понимания.

Чтобы ответить на ваш вопрос, мы должны вспомнить определение дивергенции KL :

Прежде всего вы должны перейти от того, что у вас есть к вероятностным распределениям. Для этого вам следует нормализовать ваши данные так, чтобы они суммировали до одного:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; ; $Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

Затем для дискретных значений у нас есть одно очень важное предположение, которое необходимо для оценки KL-дивергенции и которое часто нарушается:

$X_i = 0$ должно подразумевать .$Y_i = 0$

В случае, когда и равны нулю, считается равным нулю (в качестве предельного значения).$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

В вашем наборе данных это означает, что вы можете найти , но не, например, (из-за второй записи).$D_{KL}(X||Y)$$D_{KL}(Y||X)$

Что я мог бы посоветовать с практической точки зрения:

либо сделайте ваши события "более крупными", чтобы у вас было меньше нулей

или получить больше данных, так что вы будете покрывать даже редкие события хотя бы одной записью.

Если вы не можете использовать ни один из приведенных выше советов, то вам, вероятно, потребуется найти другой показатель между распределениями. Например,

Взаимная информация , определяемая как . Где - совместная вероятность двух событий.p(Xi,Yi$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

Надеюсь, это поможет.

Возможно, вы захотите установить \ epsilon на очень маленькое значение 0,00001 (скажем) и продолжить с ненулевыми значениями для всех вероятностей и рассчитать баллы KL.

Пожалуйста, дайте мне знать, если это работает.