Я делаю вопрос о цепях Маркова, и последние две части говорят это:
- Обладает ли эта цепь Маркова предельным распределением. Если ваш ответ «да», найдите ограничивающее распределение. Если ваш ответ «нет», объясните почему.
- Обладает ли эта цепь Маркова стационарным распределением. Если ваш ответ «да», найдите стационарное распределение. Если ваш ответ «нет», объясните почему.
В чем разница? Ранее я думал, что предельное распределение было, когда вы работали с использованием но это матрица перехода -го шага. Они рассчитали предельное распределение, используя , который, как я думал, был стационарным.
Что есть что тогда?
markov-process
Kaish
источник
источник
Ответы:
От введения к стохастическому моделированию Пински и Карлин (2011):
В предыдущем разделе, они уже определили « предельное распределение вероятностей » поπ
и эквивалентно
Приведенный выше пример колеблется детерминистически и поэтому не может иметь ограничение так же, как последовательность не имеет ограничения.{ 1 , 0 , 1 , 0 , 1 , … }
Они утверждают, что регулярная цепь Маркова (в которой все вероятности n-шагового перехода положительны) всегда имеют предельное распределение, и доказывают, что это должно быть единственным неотрицательным решением
Затем на той же странице, что и в примере, они пишут
где (4.27) - система уравнений
что является точно таким же условием стационарности, как и выше, за исключением теперь с бесконечным числом состояний.
С этим определением стационарности утверждение на стр. 168 можно задним числом переформулировать как:
источник
Стационарное распределение - это такое распределение что если распределение по состояниям на шаге равно , то также распределение по состояниям на шаге равно . Таким образом, Предельное распределение - это такое распределение что независимо от того, что является начальным распределением, распределение по состояниям сходится к как числу шаги идут в бесконечность: независимо отк л к + 1 л л = л Р . π π lim k → ∞ π ( 0 ) P k = π , π ( 0 )π К π к + 1 π
Однако эта цепочка не имеет ограничивающего распределения: предположим, мы инициализируем монету так, чтобы она была головой с вероятностью . Затем, так как все последующие состояния определяются начальным состоянием, после четного числа шагов состояние достигает уровня с вероятностью а после нечетного числа шагов состояние достигает уровня с вероятностью . Это выполняется независимо от того, сколько шагов предпринято, поэтому распределение по штатам не имеет границ.2 / 3 1 / 32 / 3 2 / 3 1 / 3
Теперь давайте изменим процесс так, чтобы на каждом этапе не обязательно поворачивать монету. Вместо этого бросают кубик, и если результат равен , монета остается без изменений. Эта цепь Маркова имеет переходную матрицу Не переходя к математике, я укажу, что этот процесс «забудет» начальное состояние из-за случайного пропуска хода. После огромного количества шагов вероятность появления головок будет близка к , даже если мы знаем, как была инициализирована монета. Таким образом, эта цепочка имеет предельное распределение .Р = ( 1 / 6 5 / 6 5 / 6 1 / 6 ) . 0,5 ( 0,5 0,5 )6
источник
Отложив обозначение, слово «стационарный» означает «как только вы попадете туда, вы останетесь там»; в то время как слово «ограничение» подразумевает «вы в конечном итоге доберетесь, если зайдете достаточно далеко». Просто подумал, что это может быть полезно.
источник