Что такое цепи Маркова?

В настоящее время я читаю некоторые статьи о комковании цепей Маркова и не вижу разницы между цепью Маркова и простым ориентированным взвешенным графом. Например, в статье « Оптимальное сосредоточение в пространстве состояний в цепях Маркова» они дают следующее определение CTMC (непрерывной цепи...