Что означает «вариационный»?

Всегда ли использование «вариационного» относится к оптимизации через вариационный вывод?

Примеры:

• «Вариационный автокодер»
• «Вариационные байесовские методы»
• "Вариационная перенормировочная группа"

Это означает использование вариационного вывода (по крайней мере, для первых двух).

Короче говоря, это метод для аппроксимации максимальной вероятности, когда плотность вероятности сложна (и, следовательно, MLE сложен).

Он использует Evidence Lower Bound (ELBO) в качестве прокси для ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Где - более простое распределение по скрытым переменным (обозначается как ) - например, вариационные автоэнкодеры используют нормальное распределение на выходе энкодера.$q$$Z$

Название «вариационный» происходит, скорее всего, из-за того, что он ищет распределение которое оптимизирует ELBO, и эта установка похожа на вариационное исчисление , область, которая изучает оптимизацию по функциям (например, такие проблемы, как: заданная семья кривых в 2D между двумя точками, найдите одну с наименьшей длиной).$q$

Есть хороший урок по вариационному выводу Дэвида Блея, который вы можете проверить, если хотите получить более конкретное описание.

РЕДАКТИРОВАТЬ:

На самом деле то, что я описал, - это один тип ВП: в общем, вы можете использовать различную дивергенцию (описанная мной соответствует использованию дивергенции ). Подробнее см. Эту статью , раздел 5.2 (VI с альтернативными расхождениями).$KL(q, p)$