Интуитивное объяснение периодичности в цепях Маркова

16

Может кто-нибудь объяснить мне интуитивно, что такое периодичность цепи Маркова?

Это определяется следующим образом:

Для всех штатов i в S

di = gcd{nN|pii(n)>0}=1

Спасибо за ваши усилия!

Крис
источник
1
Я нашел краткую и понятную рецензию в Википедии . Это делает работу за вас?
Cyan
2
Определение в ОП называется «апериоидным».
Джек,

Ответы:

27

Прежде всего, ваше определение не совсем правильно. Вот правильное определение из Википедии, предложенное Cyan.


Периодичность (источник: Википедия )

Состояние i имеет период k, если любое возвращение в состояние i должно происходить с кратностью k временных шагов. Формально период состояния определяется как

k = gcd{n:Pr(Xn=i|X0=i)>0}

(где "gcd" - наибольший общий делитель). Обратите внимание, что даже если состояние имеет период k, достижение состояния может быть невозможным за k шагов. Например, предположим, что можно вернуться в состояние через {6, 8, 10, 12, ...} временных шагов; k будет 2, хотя 2 не появляется в этом списке.

Если k = 1, то состояние называется апериодическим: возврат в состояние i может происходить нерегулярно. Другими словами, состояние i является апериодическим, если существует такое n, что для всех n '≥ n,

Pr(Xn=i|X0=i)>0.

В противном случае (k> 1) состояние называется периодическим с периодом k. Цепочка Маркова является апериодической, если каждое состояние апериодическое.


Мое объяснение

Термин периодичность описывает, происходит ли что-либо (событие или здесь: посещение определенного состояния) через регулярные промежутки времени. Здесь время измеряется количеством штатов, которые вы посещаете.

Первый пример:

enter image description here

Теперь представьте, что часы представляют цепочку Маркова и каждый час отмечают состояние, поэтому мы получили 12 состояний. Каждое состояние просматривается часовой стрелкой каждые 12 часов (состояния) с вероятностью = 1, поэтому наибольший общий делитель также равен 12.

Таким образом, каждое (часовое) состояние является периодическим с периодом 12.

Второй пример:

Представьте график , описывающую последовательность бросков монеты, начиная с состоянием и состояние ч е д ы и т я л ы , представляющий результатом последней жеребьевки.startheadstails

enter image description here

Вероятность перехода равна 0,5 для каждой пары состояний (I, J), за исключением -> ь т а г т а т я L сек -> ь т а г тheadsstarttailsstart , где оно равно 0.

headsheadsheadsheads является апериодическим.

tailsstartstart

Штеффен
источник
0

n>0Piin=0Piii

>1gcdnPPiin=0gcd

Дилавар
источник
Вы путаете периодичность с сводимостью. Если цепь неприводима, можно перейти из любого состояния в любое другое состояние. Периодичность важна в MCMC, потому что даже при том, что может достигаться каждое состояние (неприводимость), сходимость (как) к целевому распределению зависит от дополнительного свойства апериодичности. См., Например, «Асимптотические дисперсии и скорости сходимости почти-периодических алгоритмов MCMC» Розенталя (2001).
Энн ван Россум