Можно ли применить расхождение KL между дискретным и непрерывным распределением?

Я не математик. Я искал в Интернете о KL Divergence. Я узнал, что дивергенция KL измеряет потерянную информацию, когда мы приближаемся к распределению модели относительно входного распределения. Я видел это между любыми двумя непрерывными или дискретными распределениями. Можем ли мы сделать это между непрерывным и дискретным или наоборот?

Нет: Дивергенция KL определяется только для распределений по общему пространству. Он спрашивает о плотности вероятности точки при двух различных распределениях, p ( x ) и q ( x ) . Если p распределение на R 3 и q распределение на Z , то q ( x ) не имеет смысла для точек p $x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$ аp(z)не имеет смысла для точекz∈$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$, На самом деле, мы даже не можем сделать это для двух непрерывных распределений в пространствах разных измерений (или дискретных, или в любом случае, когда базовые вероятностные пространства не совпадают).

Если вы имеете в виду конкретный случай, может быть возможно придумать какой-то подобный дух меру различия между распределениями. Например, может иметь смысл кодировать непрерывное распределение под кодом для дискретного (очевидно, с потерянной информацией), например, округляя до ближайшей точки в дискретном случае.

Да, дивергенция KL между непрерывными и дискретными случайными переменными хорошо определена. Если и Q - распределения в некотором пространстве X , то и P, и Q имеют плотности f , g относительно μ = P + Q и D K L ( P , Q ) = ∫ X f log $P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

Например, если , P - мера Лебега, а Q = δ 0 - точечная масса в 0 , то f ( x ) = 1 - 1 x = 0 , g ( x ) = 1 x = 0 и D K L ( P , Q ) = ∞ $\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

Не в общем. Дивергенция КЛ

$P$$Q$$P$$Q$$\sigma$$\frac{dP}{dQ}$

$\sigma$