Ссылки, которые оправдывают использование гауссовых смесей

Модели гауссовых смесей (GMM) привлекательны, потому что с ними просто работать как в аналитическом, так и на практическом плане, и они способны моделировать некоторые экзотические распределения без особых сложностей. Есть несколько аналитических свойств, которые мы должны ожидать, которые в целом не ясны. Особенно:

• Скажем, $S_n$ - класс всех гауссовых смесей с компонентами. Гарантируем ли мы для любого непрерывного распределения на вещественных значениях, что с ростом мы можем приблизить с GMM с незначительными потерями в смысле относительной энтропии? То есть$n$$P$$n$$P$ $$\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$$
• Скажем, у нас есть непрерывное распределение $P$ и мы нашли $N$ -компонентную гауссову смесь $\hat{P}$ которая близка к $P$ в полной вариации: $\delta(P,\hat{P})<\varepsilon$ . Можем ли мы связать $D(P||\hat{P})$ в терминах $\epsilon$ ?
• Если мы хотим наблюдать через независимый аддитивный шум (как действительный, непрерывный), и у нас есть GMMs где , тогда это значение мало: т. Е. Правда ли, что оценить шум через примерно так же сложно, как оценить шум через ?$X\sim P_X$$Y\sim P_Y$$\hat{X} \sim Q_X, \hat{Y} \sim Q_N$$\delta(P,Q)<\epsilon$ $$\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$$ $X$$Y$$\hat{X}$$\hat{Y}$
• Можете ли вы сделать это для моделей с неаддитивным шумом, таких как шум Пуассона?

Мой (короткий) обзор литературы только что нашел очень прикладные уроки. Есть ли у кого-нибудь ссылки, которые строго демонстрируют, при каких условиях мы оправдываемся при использовании смешанных моделей?

В эконометрике, где контекст представляет собой смешанные распределения коэффициентов в логит-моделях, стандартным справочником является: СМЕШАННЫЕ МНЛ-МОДЕЛИ ДЛЯ ДИСКРЕТНОГО ОТВЕТА ДЭНЬЯ МАКФАДДЕНА И КЕННЕТА, ЖУРНАЛ ПРИКЛАДНОЙ ЭКОНОМЕТРИКИ, J. Appl. Econ. 15: 447-470 (2000).

Что касается ваших вопросов:

1. Для очень похожей байесовской проблемы гауссовского процесса Дирихле, я понимаю, что ответ - да. Ghosal (2013) .
2. Когда я присутствовал на некоторых выступлениях на эту тему, казалось, что прогресс был достигнут главным образом с помощью дивергенции KL. Посмотрите слайды Гарри ван Зантена .
3. Мне не понятно Однако это выглядит как проблема разделения источника ( ). Как правило, они намного сложнее, чем моделирование смеси. В частности, для простого случая вы не сможете идентифицировать истинные и из-за симметрии распределений около нуля.$P_N, P_S$$P_N = P_S = N(0,1)$$X$$Y$
4. См. Четвертый из слайдов, связанных выше, есть список байесовских моделей, для которых имеют место гарантии конвергенции.

Вот частичный ответ.

Скажем, - класс всех гауссовых смесей с n компонентами. Гарантируем ли мы для любого непрерывного распределения P на вещественных значениях, что с ростом n мы можем приблизить P с GMM с незначительными потерями в смысле относительной энтропии? То есть, делает Ит п → ∞ инф P ∈ S п D ( P | | P ) = 0 $S_n$$n$$P$$n$$P$

$$\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$$

Нет , вы только надеяться , что KL дивергенции мала , если вы знаете , что Q «хвосты s в конце концов одного и того же порядка, что и P » s. Это не правда в целом. Не трудно видеть , что для P Коши , то для любого п , инф P ∈ S п D ( P | | P ) = $D(P\|Q)$$Q$$P$$P$$n$

Чтобы сказать это, нужно больше условий на $P$

Скажем , мы имеем непрерывное распределение и мы нашли Н -компонент гауссовой смеси P , которая близка к Р в общей вариации: б ( P , P ) < ε . Можем ли мы связаны D ( P | | P ) в терминах е ?$P$$N$$\hat{P}$$P$$\delta(P,\hat{P})<\varepsilon$$D(P||\hat{P})$$\epsilon$

Нет. Тот же пример приведен выше.

$X\sim P_X$$Y\sim P_Y$$\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$$\delta(P,Q)<\epsilon$

$$\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$$ $X$$Y$$\hat{X}$$\hat{Y}$

$X,Y,\hat{X},\hat{Y}$$E[X|Y]$$E[\hat{X}|\hat{Y}]$$|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$$TV(P,Q)$

Я не смог доказать это ни в целом, ни с использованием дополнительной аддитивной структуры, которую мы предположили для P, Q, или придумали какие-либо контрпримеры.

Можете ли вы сделать это для моделей с неаддитивным шумом, таких как шум Пуассона?

Это неоднозначно. В контексте предыдущего вопроса, если утверждение в этом ответе может быть доказано в целом, тогда ответ - да.