Какая связь между цепью Маркова и цепью Маркова Монте-Карло

15

Я пытаюсь понять цепи Маркова, используя SAS. Я понимаю, что марковский процесс - это процесс, в котором будущее состояние зависит только от текущего состояния, а не от прошлого, и существует матрица перехода, которая фиксирует вероятность перехода из одного состояния в другое.

Но тут я наткнулся на этот термин: цепь Маркова Монте-Карло. Что я хочу знать, так это то, что Марковская цепь Монте-Карло так или иначе связана с марковским процессом, который я описал выше?

Виктор
источник

Ответы:

9

Ну, да, между этими двумя терминами есть связь, потому что ничьи из MCMC образуют цепь Маркова. От Гельмана, Байесовский анализ данных (3-е изд), с. 265:

Моделирование цепей Маркова (также называемое цепью Маркова Монте-Карло или MCMC) - это общий метод, основанный на извлечении значений из соответствующих распределений и последующей коррекции этих рисунков для лучшей аппроксимации целевого апостериорного распределения p ( θ | y ) . Выборка производится последовательно, с распределением выбранных тиражей в зависимости от последнего полученного значения; следовательно, ничьи формируют цепь Маркова.θp(θ|y)

Sycorax говорит восстановить Монику
источник
Хм, хорошо, но зачем мне рисовать случайные выборки из марковского процесса, есть много других процессов, таких как нормальный, бернулли, опцион и т. Д.
Виктор
2
@Victor Я думаю, вы потеряли из виду вариант использования MCMC. Мы используем MCMC в байесовской статистике, когда нет аналитической формы апостериорного распределения.
Sycorax говорит восстановить Монику
3
+1 Байесовская статистика - это, пожалуй, самое очевидное применение MCMC (где распределение целей является последним совместным), но не единственно возможное.
Glen_b
18

Связь между этими двумя понятиями заключается в том, что методы цепей Маркова Монте-Карло (также известные как MCMC) основаны на теории цепей Маркова для получения моделирования и приближений Монте-Карло из комплексного распределения цели .π

X1,,XNXi{Xi1,,X1}Xi1

Xi=f(Xi1,ϵi)
fπϵiXiπi

Простейшим примером алгоритма MCMC является сэмплер среза : на итерации i этого алгоритма выполните

  1. ϵi1U(0,1)
  2. XiU({x;π(x)ϵi1π(Xi1)})ϵi2

N(0,1)

  1. ϵi1U(0,1)
  2. XiU({x;x22log(2πϵi1})Xi=±ϵi2{2log(2πϵi1)φ(Xi1)}1/2ϵi2U(0,1)

или в R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

N(0,1)(Xi)вверху: гистограмма 10⁴ итераций среза среза и нормального подбора N (0,1);  внизу: последовательность $ (X_i) $

(Xi,ϵi1π(Xi))

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

это следует за вертикальным и горизонтальным перемещением цепи Маркова под кривой целевой плотности.100 последних ходов пробоотборника среза

Сиань
источник