Марковские модели с условными переходными вероятностями

10

Во-первых, позвольте мне сразу признать, что я не настолько разбираюсь в статистике и математике, как хотелось бы. Некоторые могут сказать, что достаточно знаний, чтобы быть опасными. : D Я прошу прощения, если я не использую терминологию правильно.

Я пытаюсь смоделировать вероятности перехода системы из одного состояния в другое. Простая марковская модель - хорошее начало. (Набор состояний, набор вероятностей начальных состояний, набор вероятностей переходов между состояниями.)

Однако система, которую я моделирую, более сложна, чем эта. Вероятности перехода, приводящие к состоянию в момент времени T, скорее всего, зависят от переменных, отличных от состояния в момент времени T-1. Например, S1 -> S2 может иметь вероятность перехода в 40%, когда светит солнце, но вероятность S1 -> S2 достигает 80%, когда идет дождь.

Дополнительная информация из вопросов комментаторов:

  1. Состояния наблюдаемы.
  2. Там будет только 5-10 штатов.
  3. В настоящее время мы хотим исследовать около 30 ковариат, хотя окончательная модель, безусловно, будет иметь меньше, чем эта.
  4. Некоторые ковариаты непрерывны, другие дискретны.

Три вопроса:

  1. Как я могу включить условные вероятности перехода в мою марковскую модель?
  2. Или есть другая перспектива, с которой я должен полностью подойти к этому вопросу?
  3. Кроме того, какие ключевые слова / концепции я должен искать в Интернете, чтобы узнать больше об этом?

Я уже был в Интернете в поисках таких вещей, как «модели Маркова с вероятностями условного перехода», но до сих пор ничто не шлепнуло меня по лицу и сказал: «Это твой ответ, дурак!»

Спасибо за вашу помощь и терпение.

Аарон Джонсон
источник
Добро пожаловать на сайт. Насколько велико государственное пространство? Наблюдаете ли вы за состоянием вашего процесса на каждом этапе? Сколько ковариат (дополнительных предикторов) у вас есть? Являются ли они непрерывными, дискретными или, возможно, смесью обоих?
кардинал
Спасибо, кардинал. Да, состояния наблюдаемы. Там, вероятно, будет от 5 до 10 штатов. (Это все еще неопределенно, но я не ожидаю очень большого пространства состояний.) Сейчас у нас есть список из примерно 30 дополнительных ковариат, которые мы собираемся исследовать, хотя большинство из них, вероятно, в конечном итоге окажут незначительный эффект. Некоторые непрерывны, а некоторые дискретны.
Аарон Джонсон

Ответы:

5

Вы всегда можете иметь цепочку Маркова 2-го или более высокого порядка. В этом случае ваша готовая модель включает в себя всю вероятностную информацию о переходах. Вы можете проверить динамические байесовские сети, которые представляют собой обобщение графической модели цепей Маркова, которые часто используются в машинном обучении.

YBE
источник
YBE, спасибо за быстрый ответ! Позволяет ли это (моделирование системы как цепи 2-го порядка или более высокой) моделировать непрерывные ковариаты или просто дискретные ковариаты? И можете ли вы указать мне ссылку, которая дает хороший пример того, о чем вы говорите? Спасибо!
Аарон Джонсон
Есть бумага, которую вы можете проверить. Сначала начинается описание цепочек 1-го порядка, затем описывается ситуация для цепочек более высокого порядка. (Многомерные цепи Маркова высшего порядка и их приложения, автор Ching, Ng, Fung). Если вы заинтересованы в таких вещах, как машинное обучение, я предлагаю вам посетить веб-сайт Кевина Мерфи. У него также есть набор инструментов MATLAB, с которым вы можете играть.
YBE
+1 к вашему ответу за ссылку на бумагу Ching, Ng и Fung. Это хорошо иметь. Однако, прочитав его, кажется, что он покрывает только дискретные переменные (что-то вроде того, что я ожидал). Хотя я могу дискретизировать свои непрерывные переменные, мне все равно любопытно - есть ли модели, которые могут обрабатывать необработанные непрерывные переменные переменные?
Аарон Джонсон
Я не эксперт, но я думаю, что результаты должны иметь место для непрерывного случая в целом. Например, фильтр Калмана работает на HMM (цепочка Маркова 1-го порядка) с непрерывными состояниями.
YBE
Я не сразу выбрал ваш ответ, потому что я ждал новых кандидатов. Они никогда не приходили, и я забыл об этом. Два года спустя я награждаю вас тем, что принимаю ваш ответ. Спасибо за информацию! Кстати, вы встречали что-нибудь еще на эту тему за последние два года? Это все еще то, что меня интересует.
Аарон Джонсон
0

Я задавал себе тот же вопрос, и если вам действительно нужно только смоделировать результат на основе состояния в и ковариат, вы можете найти пакет msm в R полезным.T1

Этот пакет, кажется, очень хорошо подходит для моделирования эффектов ковариат на переходы между категориальными результатами во времени. Это не помогло бы, если бы вам действительно нужна цепочка более высокого порядка, но, похоже, это не тот случай, основанный на вашем первоначальном вопросе.

Эрик Чех
источник