Какая связь между цепью Маркова и цепью Маркова Монте-Карло

Я пытаюсь понять цепи Маркова, используя SAS. Я понимаю, что марковский процесс - это процесс, в котором будущее состояние зависит только от текущего состояния, а не от прошлого, и существует матрица перехода, которая фиксирует вероятность перехода из одного состояния в другое.

Но тут я наткнулся на этот термин: цепь Маркова Монте-Карло. Что я хочу знать, так это то, что Марковская цепь Монте-Карло так или иначе связана с марковским процессом, который я описал выше?

Ну, да, между этими двумя терминами есть связь, потому что ничьи из MCMC образуют цепь Маркова. От Гельмана, Байесовский анализ данных (3-е изд), с. 265:

Моделирование цепей Маркова (также называемое цепью Маркова Монте-Карло или MCMC) - это общий метод, основанный на извлечении значений из соответствующих распределений и последующей коррекции этих рисунков для лучшей аппроксимации целевого апостериорного распределения p ( θ | y ) . Выборка производится последовательно, с распределением выбранных тиражей в зависимости от последнего полученного значения; следовательно, ничьи формируют цепь Маркова.$\theta$$p(\theta|y)$

Связь между этими двумя понятиями заключается в том, что методы цепей Маркова Монте-Карло (также известные как MCMC) основаны на теории цепей Маркова для получения моделирования и приближений Монте-Карло из комплексного распределения цели .$\pi$

$X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

Простейшим примером алгоритма MCMC является сэмплер среза : на итерации i этого алгоритма выполните

1. $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$$\epsilon^2_i$

$\mathrm{N}(0,1)$

1. $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$$X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$$\epsilon_i^2\sim\mathrm{U}(0,1)$

или в R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$$(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

это следует за вертикальным и горизонтальным перемещением цепи Маркова под кривой целевой плотности.