К.Л. Потеря с единицей Гаусса

Я внедрял VAE и заметил в Интернете две разные реализации упрощенной однофакторной гауссовой дивергенции KL. Исходная дивергенция, здесь, выглядит следующим образом: Если мы предположим, что наша единица является т.е. и \ sigma_2 = 1 , это упрощается до KL_ {loss} = - \ log (\ sigma_1) + \ frac {\ sigma_1 ^ 2 + \ mu_1 ^ 2} {2} - \ frac {1} {2} KL_ {loss} = - \ frac {1} {2} (2 \ log (\ sigma_1) - \ sigma_1 ^ 2 - \ mu_1 ^ 2 + 1) И вот тут-то и лежит мое замешательство. Хотя я обнаружил несколько неясных репозиториев github с вышеуказанной реализацией, чаще всего я использую:

$$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$$ $\mu_2=0$$\sigma_2=1$ $$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$$ $$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$$

$$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$$ Например, в официальном руководстве по автоэнкодеру Keras . Тогда мой вопрос: что мне не хватает между этими двумя? Основным отличием является уменьшение коэффициента 2 в логарифмическом выражении, а не возведение в квадрат дисперсии. Аналитически я использовал последний с успехом, для чего это стоит. Заранее благодарю за любую помощь!

Обратите внимание, что, заменив на в последнем уравнении, вы восстановите предыдущее (то есть ). Это наводит меня на мысль, что в первом случае кодер используется для прогнозирования дисперсии, а во втором - для прогнозирования стандартного отклонения.$\sigma_1$$\sigma_1^2$$\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

Обе формулировки эквивалентны, и цель неизменна.

Я считаю, что ответ проще. В VAE люди обычно используют многомерное нормальное распределение, которое имеет ковариационную матрицу вместо дисперсии . Это выглядит запутанно в части кода, но имеет желаемую форму.$\Sigma$$\sigma^2$

Здесь вы можете найти вывод дивергенции KL для многомерных нормальных распределений: Получение потерь на расходимость KL для VAE