Скрытая марковская модель для прогнозирования событий

Вопрос : Является ли установка ниже разумной реализации скрытой марковской модели?

У меня есть набор данных 108,000наблюдений (взятых в течение 100 дней) и приблизительно 2000событий на протяжении всего периода наблюдения. Данные выглядят как на рисунке ниже, где наблюдаемая переменная может принимать 3 дискретных значения а красные столбцы выделяют время события, т.е. : $[1,2,3]$ $t_E$

введите описание изображения здесь

Как показано на рисунке красными прямоугольниками, я { to } для каждого события, эффективно рассматривая их как «окна до события». $t_E$ $t_{E-5}$

Тренировка HMM: я планирую тренировать скрытую марковскую модель (HMM), основанную на всех «окнах перед событием», используя методологию множественных последовательностей наблюдений, как предложено на стр. 273 из бумаги Рабинера . Надеюсь, это позволит мне обучить HMM, который фиксирует шаблоны последовательности, которые приводят к событию.

Предсказание HMM: Затем я планирую использовать этот HMM для прогнозирования на новый день, где будут представлять собой вектор скользящего окна, обновляемый в режиме реального времени, чтобы содержать наблюдения между текущим временем и как день продолжается. $log[P(Observations|HMM)]$ $Observations$ $t$ $t-5$

Я ожидаю увидеть увеличение для которые напоминают «окна перед событием». По сути, это должно позволить мне прогнозировать события до того, как они произойдут. $log[P(Observations|HMM)]$ $Observations$

time-series machine-learning predictive-models markov-chain hidden-markov-model Zhubarb
источник

Вы можете разделить свои данные для построения модели (скажем, 0,7), а затем протестировать свою модель на оставшихся данных. Просто мысль, я не специалист в этой области.

Фернандо

Да спасибо. Это больше пригодность HMM для задачи, в которой я не уверен.

Жубарб

@Zhubarb Я имею дело с подобной проблемой и хотел бы следовать вашему подходу HMM. Где вы успешно это делаете? Или вы наконец-то вернулись к логистической регрессии / SVM и т. Д.?

Хавьерфдр

@Javierfdr, в итоге я не реализовал его из-за сложности реализации и проблем, которые альт подчеркивает в своем ответе. По сути, у HMM есть бремя необходимости создания обширной генеративной модели, в то время как мое внутреннее чувство в настоящее время относится к рассматриваемой проблеме, можно легче сойти с дискриминационной модели (SVM, Neural Net и т. Д.), Как вы предлагаете ,

Жубарб

Ответы:

Одна из проблем с подходом, который вы описали, заключается в том, что вам необходимо определить, какое увеличение имеет смысл, что может быть затруднительно, так как всегда будет очень маленьким в целом. Может быть лучше обучить два НММ, например НММ1 для последовательностей наблюдения, где происходит интересующее событие, и НММ2 для последовательностей наблюдения, где событие не происходит. Тогда, учитывая последовательность наблюдений вы получаете $P(O)$ $P(O)$ $O$ а также для HMM2. Тогда вы можете предсказать, что событие произойдет, если

\begin{aligned} п (ЧАС ЧАС M 1 | О) & знак равно \frac{п (О | ЧАС M M 1) п (ЧАС M M 1)}{п (О)} \\ α п (О | ЧАС M M 1) п (ЧАС M M 1) \end{aligned}

$\begin{align*} P(HHM1|O) &= \frac{P(O|HMM1)P(HMM1)}{P(O)} \\ &\varpropto P(O|HMM1)P(HMM1) \end{align*}$

\begin{aligned} п (ЧАС M M 1 | О) & > п (ЧАС M M 2 | О) \\ ⟹ \frac{п (ЧАС M M 1) п (О | ЧАС M M 1)}{п (О)} & > \frac{п (ЧАС M M 2) п (О | ЧАС M M 2)}{п (О)} \\ ⟹ п (ЧАС M M 1) п (О | ЧАС M M 1) & > п (ЧАС M M 2) п (О | ЧАС M M 2), \end{aligned}

$\begin{align*} P(HMM1|O) &> P(HMM2|O) \\ \implies \frac{P(HMM1)P(O|HMM1)}{P(O)} &> \frac{P(HMM2)P(O|HMM2)}{P(O)} \\ \implies P(HMM1)P(O|HMM1) &> P(HMM2)P(O|HMM2). \end{align*}$

Отказ от ответственности : то, что следует, основано на моем личном опыте, поэтому принимайте его таким, какое оно есть. Одна из приятных особенностей HMM - они позволяют вам иметь дело с последовательностями переменной длины и эффектами переменного порядка (благодаря скрытым состояниям). Иногда это необходимо (как во многих приложениях НЛП). Однако кажется, что вы априори предположили, что только последние 5 наблюдений имеют отношение к прогнозированию интересующего события. Если это предположение реалистично, то вам может быть значительно больше удачи, если использовать традиционные методы (логистическая регрессия, наивный байесовский анализ, SVM и т. Д.) И просто использовать последние 5 наблюдений в качестве признаков / независимых переменных. Как правило, эти типы моделей легче обучать и (по моему опыту) дают лучшие результаты.

альт
источник

p = l o g (P (O | h m m))

$p = log(P(O|hmm))$

p_{1} = - 2504, p_{2} = - 2403, p_{3} = - 2450

$p_1 =-2504, p_2 = -2403, p_3= -2450$

p

$p$ : Я выбрал 5 в качестве размера моего окна произвольно, он, вероятно, будет длиннее, чем в реальной реализации.

Жубарб

P (H M M 1)

$P(HMM1)$

@Berkan Что касается размера окна, основываясь на моем личном опыте, я ожидаю, что то, что я сказал в этом вопросе, сохранится для любого фиксированного размера окна. Очевидно, что все сказанное мною необходимо будет проверить эмпирически на предмет вашей конкретной проблемы.

альт

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1)) >? log(P(HMM2))+log(P(O|HMM2))$

l o g (P (H M M 1))

$log(P(HMM1))$

l o g (P (H M M 1))

$log(P(HMM1))$

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1))>?log(P(HMM2))+log(P(O|HMM2))$

l o g (P (H M M 1))

$log(P(HMM1))$

H M M 1 = (5 * 2, 000) / 108, 000

$HMM1 = (5 * 2,000) / 108,000$