Разница между MLE и Baum Welch на фитингах HMM

В этом популярном вопросе ответ с высоким голосом разделяет MLE и Baum Welch в подгонке HMM.

Для задачи обучения мы можем использовать следующие 3 алгоритма: MLE (оценка максимального правдоподобия), обучение Витерби (НЕ путать с декодированием Витерби), Baum Welch = алгоритм прямого и обратного хода

НО в википедии написано

Алгоритм Баума – Уэлча использует хорошо известный EM-алгоритм для нахождения оценки максимального правдоподобия параметров.

Итак, какова связь между MLE и алгоритмом Баума – Уэлча?

Моя попытка: цель алгоритма Баума-Уэлча - максимизировать вероятность, но он использует специализированный алгоритм (EM) для решения оптимизации. Мы все еще можем максимизировать вероятность, используя другие методы, такие как градиент приличный. Вот почему ответ делают два алгоритма раздельными.

Я прав и может кто-нибудь помочь мне уточнить?

Обратитесь к одному из ответов (от Masterfool) по предоставленной вами ссылке на вопрос,

Ответ Мората неверен в одном: Баум-Уэлч - алгоритм максимизации ожиданий, используемый для обучения параметров HMM. Он использует алгоритм «вперед-назад» во время каждой итерации. Алгоритм прямого-обратного хода на самом деле является просто комбинацией прямого и обратного алгоритмов: один прямой проход, один обратный проход.

И я согласен с ответом PierreE здесь, алгоритм Баума-Уэлча используется для решения максимальной вероятности в HHM. Если состояния известны ( под наблюдение, меченная последовательность), то используется другой метод максимизации MLE (может быть , как, просто подсчитать частоту каждого излучения и переход , наблюдаемое в обучающих данных, см слайдов , предоставленный Franck Dernoncourt).

В настройке MLE для HMM я не думаю, что вы можете просто использовать градиентное спуск, так как вероятность (или логарифмическая вероятность) не имеет решения в закрытой форме и должна решаться итеративно, как в случае с смешанные модели, поэтому мы переходим к EM. (Подробнее см. В книге «Епископ, книга распознавания образов», глава 13.2.1, стр. 614).

Итак, какова связь между MLE и алгоритмом Баума – Уэлча?

Алгоритм максимизации ожиданий (EM) является более общим, и алгоритм Баума-Уэлча - просто его реализация, а EM - итеративный алгоритм для максимального правдоподобия (ML). Тогда алгоритм Баума-Уэлча также является итеративным алгоритмом для максимальной вероятности.

Обычно существует три алгоритма оптимизации для оценки максимального правдоподобия (частый подход): 1) градиентный спуск; 2) Марковская цепь Монте-Карло; 3) максимизация ожидания.

Этот вопрос был здесь в течение нескольких месяцев, но этот ответ может помочь новым читателям, как дополнение к комментарию Дэвида Батисты.

Алгоритм Баулма-Уэлча (BM) - это алгоритм максимизации ожиданий для решения оценки максимального правдоподобия (MLE) с целью обучения вашего HMM, когда состояния неизвестны / скрыты (обучение без контроля).

Но если вы знаете состояния, вы можете использовать метод MLE (который не будет BM) для подгонки вашей модели к паре данных / состояний под наблюдением.