Я пытался изучить методы MCMC и наткнулся на выборку Metropolis Hastings, Gibbs, Важность и Отклонение. Хотя некоторые из этих различий очевидны, т. Е. То, как Гиббс является особым случаем Метрополиса Гастингса, когда у нас есть полные условия, другие менее очевидны, например, когда мы хотим использовать MH в семплере Гиббса и т. Д. Есть ли у кого-нибудь простой способ увидеть большую часть различий между каждым из них? Благодарность!
mcmc
monte-carlo
gibbs
metropolis-hastings
importance-sampling
user1398057
источник
источник
Ответы:
Как подробно описано в нашей книге с Джорджем Казеллой, статистические методы Монте-Карло , эти методы используются для получения выборок из заданного распределения, скажем, с плотностью , либо для получения представления об этом распределении, либо для решения проблемы интеграции или оптимизации, связанной с ф . Например, чтобы найти значение ∫ X h ( x ) f ( x ) d xf f или мода распределения h ( X ), когда X ∼ f ( x ) или квантиль этого распределения.
Для сравнения методов Монте-Карло и Маркова с цепочкой Монте-Карло, которые вы упоминаете в соответствующих критериях, требуется установить фон проблемы и цели эксперимента по моделированию, поскольку плюсы и минусы каждого из них будут варьироваться от случая к случаю.
Вот несколько общих замечаний, которые наверняка не охватывают сложность проблемы :
In conclusion, a warning that there is no such thing as an optimal simulation method. Even in a specific setting like approximating an integral
источник
h(x)
mean concretely inh(x)f(x)dx
, in a Bayesian analysis scenario. We're trying to get the posterior, given the prior and the data. However, it seems that with all these sampling methods we're actually trying to approximatef(x)
. So can it be said thatf(x)
is already the posterior that we're looking for, andh(x)
is just an arbitrary function that we might also put together with the posteriorf(x)
? Or did I not understand it correctly. Thanks.