Когда марковские случайные поля экспоненциальные семейства?

В учебнике, графические моделях, экспоненциальная семье и вариационные умозаключениях , М. Иордане и М. Уэйнрайт обсуждается связь между экспоненциальными семействами и марковскими случайными полей (неориентированные графические моделями).

Я пытаюсь лучше понять отношения между ними с помощью следующих вопросов:

• Все ли MRF являются членами Экспоненциальных семей?
• Могут ли все члены из Экспоненциальных семей быть представлены как MRF?
• Если MRF экспоненциальные семейства, то каковы хорошие примеры распределений одного типа, не включенных в другой ?$\neq$

Из того, что я понимаю в их учебнике (глава 3), Джордан и Уэйнрайт приводят следующий аргумент:

1. Скажем , у нас есть аа скалярную случайную величину X , которая следует некоторое распределение , и сделать независимые одинаково распределенные наблюдения , и мы хотим определить .n X 1 , … X n$p$$n$$X^1, \ldots X^n$$p$

2. Мы вычисляем эмпирические ожидания определенных функций$\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ для всех$\alpha \in \mathcal{I}$

   где каждый в некотором наборе индексирует функциюI ϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Тогда, если мы заставим следующие два набора величин быть последовательными, то есть, чтобы соответствовать (чтобы идентифицировать ):$p$

   • Ожидания достаточной статистики распределенияϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • Ожидания при эмпирическом распределении

мы получаем недоопределенную проблему в том смысле, что существует много распределений , которые согласуются с наблюдениями. Поэтому нам нужен принцип выбора среди них (для идентификации ).$p$$p$

Если мы используем принцип максимальной энтропии для устранения этой неопределенности, мы можем получить один :$p$

Е р [ ( ф & alpha ; ( Х ) ] = ц & alpha ; & alpha ; ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ зависимости от для всех$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

где этот принимает форму exp где представляет параметризацию распределения в экспоненциальной форме семейства.р & thetas ; ( х ) & alpha ; Е & alpha ; ∈ I & thetas ; & alpha ; ф & alpha ; ( х ) , & thetas ; ∈ R $p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

Другими словами, если мы

1. Приведите ожидания распределений в соответствие с ожиданиями при эмпирическом распределении
2. Используйте принцип максимальной энтропии, чтобы избавиться от неопределенности

$\rightarrow$ Мы получаем распределение экспоненциального семейства.

Однако это больше похоже на аргумент для введения экспоненциальных семейств, и (насколько я понимаю) не описывает отношения между MRF и exp. семьи. Я что-то пропустил?

Вы совершенно правы - аргумент, который вы привели, связывает экспоненциальное семейство с принципом максимальной энтропии, но не имеет ничего общего с MRF.

Чтобы ответить на три ваших начальных вопроса:

Могут ли все члены из Экспоненциальных семей быть представлены как MRF?

Да. Фактически, любая функция плотности или массы может быть представлена ​​как MRF! Согласно Википедии [1], MRF определяется как набор случайных величин, которые являются марковскими относительно неориентированного графа. Эквивалентно, совместное распределение переменных можно записать с помощью следующей факторизации: где - множество максимальные клики в . Из этого определения вы можете видеть, что полностью связанный граф, хотя и совершенно неинформативен, согласуется с любым распределением.с л ( G )

Все ли MRF являются членами Экспоненциальных семей?

Нет. Поскольку все распределения могут быть представлены как MRF (и не все распределения принадлежат экспоненциальному семейству), должны быть некоторые «члены MRF», которые не являются экспоненциальными членами семьи. Тем не менее, это совершенно естественный вопрос - кажется, что подавляющее большинство MRF, которые люди используют на практике, экспоненциальными семейными распределениями. Все конечно-доменные дискретные MRF и гауссовы MRF являются членами экспоненциального семейства. Фактически, поскольку продукты распределений экспоненциального семейства также находятся в экспоненциальном семействе, совместное распределение любого MRF, в котором каждая потенциальная функция имеет форму (ненормализованного) экспоненциального члена семейства, само будет находиться в экспоненциальном семействе.$are$

Если MRFs Экспоненциальные семейства, каковы хорошие примеры распределений одного типа, не включенных в другой?$\neq$

Распределения смесей являются распространенными примерами неэкспоненциальных распределений семейства. Рассмотрим линейную модель пространства состояний Гаусса (как скрытую марковскую модель, но с непрерывными скрытыми состояниями и гауссовым распределением переходов и излучений). Если вы замените ядро ​​перехода смесью гауссианов, полученное в результате распределение больше не будет экспоненциальным семейством (но оно все же сохранит богатую структуру условной независимости, характерную для практических графических моделей).

[1] http://en.wikipedia.org/wiki/Markov_random_field