Расчет логарифмической вероятности для заданного MLE (цепочки Маркова)

В настоящее время я работаю с цепями Маркова и рассчитал оценку максимального правдоподобия, используя вероятности переходов, как предложено несколькими источниками (т. Е. Количество переходов от a к b, деленное на количество общих переходов от a к другим узлам).

Теперь я хочу вычислить логарифмическую вероятность MLE.

Пусть будет путь к марковской цепи и пусть P θ ( Х 1 , . . . , Х Т ) будет вероятность обнаружения пути , когда θ является истинным значением параметра (он же функции правдоподобия для θ ). Используя определение условной вероятности, мы знаем$\{ X_i \}_{i=1}^{T}$$P_{\theta}(X_1, ..., X_T)$$\theta$$\theta$

$$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}, ..., X_1) \cdot P_{\theta}(X_1, ..., X_{T-1})$$

Так как это марковской цепи, мы знаем , что , так что это упрощает это до$P_{\theta}(X_T | X_{T-1}, ..., X_1) = P_{\theta}(X_T | X_{T-1} )$

$$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}) \cdot P_{\theta}(X_1, ..., X_{T-1})$$

Теперь, если вы повторите ту же логику раз, вы получите$T$

$$P_{\theta}(X_1, ..., X_T) = \prod_{i=1}^{T} P_{\theta}(X_i | X_{i-1} )$$

где следует интерпретировать как начальное состояние процесса. Слагаемые в правой части являются просто элементами матрицы перехода. Поскольку вы запрашивали правдоподобие, окончательный ответ:$X_0$

$${\bf L}(\theta) = \sum_{i=1}^{T} \log \Big( P_{\theta}(X_i | X_{i-1} ) \Big)$$

Это вероятность одной цепочки Маркова - если ваш набор данных включает в себя несколько (независимых) цепей Маркова, то полная вероятность будет суммой членов этой формы.