В чем разница между «ограничивающим» и «стационарным» распределением?

21

Я делаю вопрос о цепях Маркова, и последние две части говорят это:

  • Обладает ли эта цепь Маркова предельным распределением. Если ваш ответ «да», найдите ограничивающее распределение. Если ваш ответ «нет», объясните почему.
  • Обладает ли эта цепь Маркова стационарным распределением. Если ваш ответ «да», найдите стационарное распределение. Если ваш ответ «нет», объясните почему.

В чем разница? Ранее я думал, что предельное распределение было, когда вы работали с использованием P=CAnC1 но это матрица перехода n -го шага. Они рассчитали предельное распределение, используя Π=ΠP , который, как я думал, был стационарным.

Что есть что тогда?

Kaish
источник
4
Ваш учебник может проводить различие, которое не является универсальным: например, заметки Карла Сигмана об ограничивающих распределениях определяют «ограничивающие» и «стационарные» распределения как синонимы (определение 2.3 в нижней части стр. 5). Поэтому вы должны обратиться к определениям в вашем учебнике, чтобы определить разницу.
whuber
Π = ( π 0 ,limnPii(n)Π=(π0,π1,...,πn)
@whuber На самом деле, я сейчас в замешательстве, потому что в предыдущем вопросе об ограниченном распределении они не удовлетворяют равенству , так что, может быть, это другое? π0+π1+π2=1
Кайш
2
Стационарное распределение является стабильным во времени. Насколько мне известно, предельное распределение цепи Маркова является стационарным, и если цепь Маркова имеет стационарное распределение, оно также является предельным распределением.
борец с тенью
Ответ от Andreas может помочь quora.com/…
Сиддхарт Шакья

Ответы:

18

От введения к стохастическому моделированию Пински и Карлин (2011):

π = ( 1

P=0110
(1π=(12,12)
(12,12)0110=(12,12)

В предыдущем разделе, они уже определили « предельное распределение вероятностей » поπ

limnPij(n)=πj for j=0,1,,N

и эквивалентно

limnPr{Xn=j|X0=i}=πj>0 for j=0,1,,N
(p. 165).

Приведенный выше пример колеблется детерминистически и поэтому не может иметь ограничение так же, как последовательность не имеет ограничения.{1,0,1,0,1,}


Они утверждают, что регулярная цепь Маркова (в которой все вероятности n-шагового перехода положительны) всегда имеют предельное распределение, и доказывают, что это должно быть единственным неотрицательным решением

πj=k=0NπkPkj,  j=0,1,,N,k=0Nπk=1
(стр. 168 )

Затем на той же странице, что и в примере, они пишут

Любое множество удовлетворяющее (4.27), называется стационарным распределением вероятностей цепи Маркова. Термин «стационарный» происходит от того свойства, что цепь Маркова, начатая в соответствии со стационарным распределением, будет следовать этому распределению во все моменты времени. Формально, если , то для всех . Pr { X 0 = i } = π i Pr { X n = i } =(πi)i=0Pr{X0=i}=πi n = 1 , 2 , Pr{Xn=i}=πin=1,2,

где (4.27) - система уравнений

πi0,i=0πi=1, and πj=i=0πiPij.

что является точно таким же условием стационарности, как и выше, за исключением теперь с бесконечным числом состояний.

С этим определением стационарности утверждение на стр. 168 можно задним числом переформулировать как:

  1. Предельное распределение регулярной цепи Маркова является стационарным распределением.
  2. Если предельное распределение цепи Маркова является стационарным, то стационарное распределение является единственным.
shadowtalker
источник
Можете ли вы уточнить, что вы подразумеваете под «вероятностями перехода, не меняющимися со временем» для стационарности? Как предельное, так и стационарное распределение относятся к вероятностям по состояниям.
Юхо Коккала
1
Да, я вижу, вы написали свой собственный ответ, но я реорганизовал свой, чтобы быть более правильным.
Shadowtalker
Я до сих пор не понимаю. Я имею в виду, что ты имеешь в виду, когда говоришь "кроме как сейчас с бесконечным числом состояний ...."? Можете ли вы уточнить это более подробно.
Рони
@roni два выражения идентичны, если вы позволитеN=
shadowtalker
В первом выделенном блоке Р нπ=(1/2,1/2) является стационарным распределением для примера, однако оно не имеет ограничивающего распределения, так как будет колебаться, и поэтому не имеет стационарного состояния. Означает ли это, что он не гарантирует существование устойчивого состояния, если рассчитывается только стационарное распределение? Pn
Гоян Цинь
12

Стационарное распределение - это такое распределение что если распределение по состояниям на шаге равно , то также распределение по состояниям на шаге равно . Таким образом, Предельное распределение - это такое распределение что независимо от того, что является начальным распределением, распределение по состояниям сходится к как числу шаги идут в бесконечность: независимо отк л к + 1 л л = л Р . π π lim k π ( 0 ) P k = π , π ( 0 )πkπk+1π

π=πP.
ππ
limkπ(0)Pk=π,
π(0), Например, давайте рассмотрим цепь Маркова, два состояния которой являются сторонами монеты, . Каждый шаг состоит в переворачивании монеты вверх ногами (с вероятностью 1). Обратите внимание, что когда мы вычисляем распределения состояний, они не зависят от предыдущих шагов, то есть парень, который вычисляет вероятности, не видит монету. Таким образом, матрица перехода имеет вид: Если мы сначала инициализируем монету путем ее случайного перелистывания ( ), то также все последующие временные шаги следуют за этим распределением. (Если вы подбросите честную монету, а затем перевернете ее, вероятность головок все равно будет ). Таким образом,Р = ( 0 1 1 0 ) . π ( 0 ) = ( 0,5 0,5 ) 0,5 ( 0,5 0,5 ){heads,tails}
P=(0110).
π(0)=(0.50.5)0.5(0.50.5) является стационарным распределением для этой цепи Маркова.

Однако эта цепочка не имеет ограничивающего распределения: предположим, мы инициализируем монету так, чтобы она была головой с вероятностью . Затем, так как все последующие состояния определяются начальным состоянием, после четного числа шагов состояние достигает уровня с вероятностью а после нечетного числа шагов состояние достигает уровня с вероятностью . Это выполняется независимо от того, сколько шагов предпринято, поэтому распределение по штатам не имеет границ.2 / 3 1 / 32/32/31/3

Теперь давайте изменим процесс так, чтобы на каждом этапе не обязательно поворачивать монету. Вместо этого бросают кубик, и если результат равен , монета остается без изменений. Эта цепь Маркова имеет переходную матрицу Не переходя к математике, я укажу, что этот процесс «забудет» начальное состояние из-за случайного пропуска хода. После огромного количества шагов вероятность появления головок будет близка к , даже если мы знаем, как была инициализирована монета. Таким образом, эта цепочка имеет предельное распределение .Р = ( 1 / 6 5 / 6 5 / 6 1 / 6 ) . 0,5 ( 0,5 0,5 )6

P=(1/65/65/61/6).
0.5(0.50.5)
Юхо Коккала
источник
Хорошая мысль о том, что вы забыли начальное состояние, я полностью обесценил это в своем ответе.
борец с тенью
P=(0110)
@GuoyangQin Если у вас есть новый вопрос, вы можете опубликовать его как вопрос (ссылка на него, если он поможет задать вопрос). Хотя я бы подумал, что «устойчивое состояние» в этом контексте будет означать «стационарное распределение», поэтому было бы лучше четко определить термин в вопросе
Юхо Коккала
10

Отложив обозначение, слово «стационарный» означает «как только вы попадете туда, вы останетесь там»; в то время как слово «ограничение» подразумевает «вы в конечном итоге доберетесь, если зайдете достаточно далеко». Просто подумал, что это может быть полезно.

Голубое небо
источник
Не ясно, как это относится к вопросу. Могли бы вы объяснить?
whuber
2
Привет @whuber, я хочу сказать, что ограничивающее распределение обязательно является стационарным распределением, в то время как стационарное распределение не обязательно является ограничивающим распределением. Отсюда и разница. По сути, это то же самое, что и другие ответы, но я думаю, что это легче запомнить.
BlueSky
Спасибо за разъяснение: оно показывает нам, чего вы пытаетесь достичь. Однако я не могу найти разумного способа интерпретировать ваше описание «стационарного» таким образом, чтобы это соответствовало математическому определению.
whuber
@whuber Формулировка BlueSky мне кажется очень простым и понятным английским понятием «фиксированная точка» - я не уверен, что может означать ваш объект.
Ричард Раст