В чем разница между марковским случайным полем и условным случайным полем?

Если я фиксирую значения наблюдаемых узлов MRF, становится ли он CRF?

Хорошо, я нашел ответ сам:

Случайные случайные поля (CRF) являются частным случаем марковских случайных полей (MRF).

1.5.4 Условное случайное поле

Условное случайное поле (CRF) - это форма MRF, которая определяет апостериор для переменных x с данными z, как со скрытой MRF выше. Однако, в отличие от скрытого MRF, факторизация в распределение данных P (x | z) и предшествующий P (x) не сделана явной [288]. Это позволяет записывать сложные зависимости x от z непосредственно в апостериорном распределении без явной факторизации. (Учитывая P (x | z), такие факторизации всегда существуют, однако - на самом деле их бесконечно много), поэтому нет никаких предположений о том, что CRF является более общим, чем скрытый MRF, только для того, чтобы с ним было удобнее иметь дело .)

Источник: Блейк, Кохли и Ротер: марковские случайные поля для зрения и обработки изображений. 2011.

Условное случайное поле или CRF (Lafferty et al. 2001), иногда дискриминирующее случайное поле (Kumar and Hebert 2003), является просто версией MRF, где все потенциалы клика обусловлены входными характеристиками: [...]

Преимущество CRF над MRF аналогично преимуществу дискриминационного классификатора над генеративным классификатором (см. Раздел 8.6), а именно, нам не нужно «тратить ресурсы» на моделирование вещей, которые мы всегда наблюдаем. [...]

Недостаток CRF по сравнению с MRF состоит в том, что они требуют помеченных данных обучения, и они медленнее обучаются [...]

Источник: Кевин П. Мерфи: Машинное обучение: вероятностная перспектива

Отвечая на мой вопрос:

Если я фиксирую значения наблюдаемых узлов MRF, становится ли он CRF?

Да. Фиксация значений - это то же самое, что кондиционирование на них. Тем не менее, вы должны заметить, что в обучении тоже есть различия.

Просмотр многих лекций о PGM (вероятностных графических моделях) на Coursera мне очень помог.

MRF против сетей Байеса . Ненормативно (но обычно) говоря , существует два типа графических моделей: неориентированные графические модели и ориентированные графические модели (еще один тип, например, граф Таннера). Первый также известен как Марковские случайные поля / сеть Маркова, а более поздние байесовские сети / сеть Байеса. (Иногда предположения о независимости в обоих могут быть представлены хордовыми графами)

Марков подразумевает способ факторизации, а случайное поле означает конкретное распределение среди тех, которые определены неориентированной моделью.

CRF $\in$ MRF : когда наблюдаются некоторые переменные, мы можем использовать то же представление ненаправленного графа (как и ненаправленные графы) и параметризацию для кодирования условного распределения $P(Y|X)$ где $Y$ - набор целевых переменных, а $X$ - (непересекающийся ) множество наблюдаемых переменных.

И единственное отличие состоит в том, что для стандартной марковской сети термин нормализации суммируется по X и Y, а для CRF - только по Y.

Ссылка:

1. Неориентированные графические модели (марковские случайные поля)
2. Принципы и методы вероятностных графических моделей (2009, MIT Press)
3. Марковские случайные поля

Давайте сопоставим условный вывод в MRF с моделированием с использованием CRF, остановимся на определениях, а затем обратимся к исходному вопросу.

MRF

$G$

1. $G$
2. $G$$V_i$$V_j$$V_i$$V_j$$\mathcal{B}_i$$P(\{V_i\})$ $G$

Условный вывод под MRF

Поскольку MRF представляет собой совместное распределение по многим переменным, которое подчиняется марковским ограничениям, то мы можем вычислить условные распределения вероятностей с учетом наблюдаемых значений некоторых переменных.

Например, если у меня есть совместное распределение по четырем случайным переменным: IsRaining, SprinklerOn, SidewalkWet и GrassWet, то в понедельник я могу вывести совместное распределение вероятностей по IsRaining и SprinklerOn, учитывая, что я наблюдал SidewalkWet = False и GrassWet = Правда. Во вторник я мог бы сделать вывод о совместном распределении вероятностей по IsRaining и SprinklerOn, учитывая, что я наблюдал SidewalkWet = True и GrassWet = True.

Другими словами, мы можем использовать одну и ту же модель MRF, чтобы сделать выводы в этих двух разных ситуациях, но мы бы не сказали, что изменили модель. На самом деле, хотя мы наблюдали SidewalkWet и GrassWet в обоих описанных здесь случаях, сама MRF сама по себе не имеет «наблюдаемых переменных» - все переменные имеют одинаковый статус в глазах MRF, поэтому MRF также моделирует, например, совместное распространение SidewalkWet и GrassWet.

CRF

$G$

1. $G$$\{X_i\}_{i=1}^n$$\{Y_i\}_{i=1}^m$
2. $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$$G$

Различия

$G$

1. обозначает подмножество переменных как «наблюдаемые»

2. определяет только условное распределение по ненаблюдаемым данным наблюдаемым переменным; он не моделирует вероятность наблюдаемых переменных (если распределения выражаются в терминах параметров, это часто рассматривается как преимущество, поскольку параметры не теряются при объяснении вероятности того, что всегда будет известно)

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

пример

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Вывод

$G$$G$$G$$G$$G$$G$

В дополнение к потенциальной экономии параметров модели, повышенной выразительности условной модели и сохранению эффективности логического вывода, последний важный момент в отношении рецепта CRF заключается в том, что для дискретных моделей (и большого подмножества недискретных моделей), несмотря на Выраженность семейства CRF, логарифмическая правдоподобие может быть выражена в виде выпуклой функции параметров функции, допускающей глобальную оптимизацию с градиентным спуском.

Смотрите также: оригинальная статья и этот урок