MCMC; Можем ли мы быть уверены, что у нас есть «чистый» и «достаточно большой» образец сзади? Как это может работать, если мы не?

Обращаясь к этой теме: Как бы вы объяснили Маркову цепь Монте-Карло (MCMC) непрофессионалу? ,

Я могу видеть, что это комбинация цепей Маркова и Монте-Карло: цепь Маркова создается с апостериорным в качестве инвариантного предельного распределения, а затем рисуются монте-карло (зависимые) из предельного распределения (= нашего апостериорного).

Допустим (я знаю, что я здесь упрощаю), что после шагов мы находимся в предельном распределении Π (*).$L$$\Pi$

Цепь Маркова, являющаяся последовательностью случайных величин, дает последовательность , где X i - случайная величина, а Π - ограничивающая «случайная величина» '' из которого мы хотим попробовать. $X_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \Pi$$X_i$$\Pi$

MCMC начинается с начального значения, то есть является случайной величиной со всей массой при этом одном значении x 1 . Если я буду использовать заглавные буквы для случайных величин и строчных букв для реализаций случайной величины, то MCMC дает мне последовательность х 1 , х 2 , х 3 , ... х L , П 1 , π 2 , π 3 , . , , , π н . Таким образом, длина цепочки MCMC равна L + n.$X_1$$x_1$$x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$

[[* Примечание: заглавные буквы - это случайные величины (т. Е. Целая группа результатов), а маленькие - это результаты, т. Е. Одно конкретное значение. *]]$x$

Очевидно, только принадлежит моему «заднему» и для аппроксимации заднего «колодца» значение n должно быть «достаточно большим».$\pi_i$$n$

Если я описываю это , то у меня есть цепь MCMC длины N = L + n , только π 1 , π 2 , … , π n имеют отношение к моему апостериорному приближению, и n должно быть достаточно большим.$x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$$N=L+n$$\pi_1,\pi_2,\dots, \pi_n$$n$

Если я включу некоторые из (т.е. реализации до того, как будет достигнуто инвариантное распределение) в вычисление аппроксимации апостериорного значения, то это будет «шумно».$x_i$

Я знаю длину цепи MCMC , но без знания L , т. Е. Шага , на котором я уверен, что произвожу выборку из предельного распределения, я не могу быть уверен, что я не включил шум, и не могу быть уверенным в n = N - L , размере моей выборки из предельного распределения, в частности, я не могу быть уверен, является ли она «достаточно большой». $N=L+n$$L$$n=N-L$

Итак, насколько я понял, это значение имеет решающее значение для качества аппроксимации апостериорного (исключение шума и большой выборки из него)$L$ .

Существуют ли способы найти разумную оценку для когда я применяю MCMC?$L$

(*) Я думаю, что в общем случае будет зависеть от начального значения x 1 .$L$$x_1$

TL DR; Вы не можете оценить так как L = ∞ . Таким образом, упрощающее предположение никогда не может быть действительно возможным. (Там может быть несколько случаев, когда это так, но не в общем мире MCMC). Однако вы можете решить, что N сделает раннее смещение небольшим.$L$$L = \infty$$N$

---

По сути, ваш вопрос сводится к тому, «как мы можем оценить время выгорания?». Выгорание - это акт выбрасывания начальных образцов, потому что цепь Маркова не сходится. Существует множество диагностических средств MCMC, которые помогут вам оценить время «выгорания», с обзором можно ознакомиться здесь .

$L$$L$$L$

Теперь я перехожу к более техническим деталям вашего вопроса.

$L$$L$$L$$\infty$$L$

$L$$L$

$L$$N$$X_1, X_2, X_3, \dots, X_N$$L$$L$$\infty$$\theta$

$$\bar{\theta}_N = \dfrac{1}{N} \sum_{i=1}^{N}X_i.$$

$N$$L$

$N$$\theta$

$(\bar{\theta}_N - \theta)$$N \to \infty$

$$\sqrt{N}(\bar{\theta}_N - \theta) \overset{d}{\to} N_p(0, \Sigma),$$

$\theta \in \mathbb{R}^p$$\Sigma$

$\Sigma/N$