Я думаю, что я получил общее представление о VI и MCMC, включая различные разновидности MCMC, такие как выборка Гиббса, Metropolis Hastings и т. Д. Эта статья представляет собой прекрасное изложение обоих методов.
У меня есть следующие вопросы:
Я понимаю, что это довольно широкий вопрос, но любые идеи будут высоко оценены.
Для подробного ответа смотрите Блей, Кукукельбир и Маколифф здесь . Этот короткий ответ в значительной степени вытекает из этого.
То есть, когда у нас есть время для вычисления и оценки точности наших оценок, MCMC побеждает. Если мы можем смириться с тем, чтобы пожертвовать этим ради целесообразности - или мы работаем с такими большими данными, что мы должны сделать компромисс - VI - это естественный выбор.
Или, как более красноречиво и подробно описано авторами, упомянутыми выше:
Таким образом, вариационный вывод подходит для больших наборов данных и сценариев, где мы хотим быстро изучить множество моделей; MCMC подходит для небольших наборов данных и сценариев, в которых мы с радостью платим более высокие вычислительные затраты за более точные выборки. Например, мы могли бы использовать MCMC в условиях, когда мы потратили 20 лет на сбор небольшого, но дорогого набора данных, где мы уверены, что наша модель подходит и где нам требуются точные выводы. Мы можем использовать вариационный вывод при подборе вероятностной модели текста для одного миллиарда текстовых документов и в тех случаях, когда эти выводы будут использоваться для предоставления результатов поиска большому количеству пользователей. В этом сценарии мы можем использовать распределенные вычисления и стохастическую оптимизацию для масштабирования и ускорения вывода, и мы можем легко исследовать множество различных моделей данных.