Максимальное среднее расхождение (распределение по расстоянию)

У меня есть два набора данных (исходные и целевые данные), которые следуют за разным распределением. Я использую MMD - это непараметрическое распределение расстояний - для вычисления предельного распределения между исходными и целевыми данными.

исходные данные, хз

целевые данные, Xt

Матрица адаптации А

* Проецируемые данные, Zs = A '* Xs и Zt = A' Xt

* MMD => Расстояние (P (Xs), P (Xt)) = | среднее (A'Xs) - среднее (A ' Xt) |

Это означает, что расстояние распределения между исходными и целевыми данными в исходном пространстве эквивалентно расстоянию между средними проецируемыми исходными и целевыми данными во встроенном пространстве.

У меня вопрос по поводу концепции MMD.

В формуле MMD: почему с помощью вычисления расстояния в скрытом пространстве мы можем измерить расстояние распределения в исходном пространстве?

Спасибо

Это может помочь дать немного больше обзора MMD. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

В общем, MMD определяется идеей представления расстояний между распределениями в виде расстояний между средними вложениями признаков. То есть, скажем , у нас есть распределение и над множеством . MMD определяется картой объектов , где - это то, что называется воспроизводящим гильбертовым пространством ядра. В общем случае MMD имеет вид $P$$Q$$\X$ $\varphi : \X \to \h$$\mathcal H$

$$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$$

В качестве одного примера, мы могли бы иметь и . В этом случае: так что это MMD - просто расстояние между средними двумя распределениями. Соответствующие распределения как это будут соответствовать их средствам, хотя они могут отличаться по своей дисперсии или другими способами.$\X = \h = \R^d$$\varphi(x) = x$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$$

Ваш случай немного отличается: у нас есть и , где , где - матрица . Таким образом, мы имеем Это MMD - это разница между двумя разными проекциями среднего значения. Если или отображение иначе не обратимо,$\mathcal X = \mathbb R^d$$\mathcal H = \mathbb R^p$$\varphi(x) = A' x$$A$$d \times p$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$$ $p < d$$A'$ чем предыдущий: он не различает некоторые дистрибутивы, которые делает предыдущий.

Вы также можете построить более сильные расстояния. Например, если и вы используете , тогда MMD становится и может различать не только распределения с разными средними, но и с разными дисперсиями.$\X = \R$$\varphi(x) = (x, x^2)$$\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

И вы можете стать намного сильнее, чем это: если отображается на общее воспроизводящее гильбертово пространство ядра, то вы можете применить трюк ядра для вычисления MMD, и оказывается, что многие ядра, включая ядро ​​Гаусса, приводят к MMD будучи нулем, если и только распределения идентичны.$\varphi$

В частности, если , вы получите который вы можете прямо оценить с образцами.$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

$$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$$

---

Обновление: вот откуда взято «максимум» в названии.

Карта признаков отображается в гильбертово пространство воспроизводящего ядра. Это пространства функций , которые удовлетворяют ключевому свойству (так называемому свойству воспроизведения ): для любого .$\varphi: \X \to \h$ ⟨ F , φ ( х ) ⟩ Н = F ( х ) F ∈ H$\langle f, \varphi(x) \rangle_\h = f(x)$$f \in \h$

В простейшем примере, с , мы рассматриваем каждое как функцию, соответствующую некоторому , через . Тогда воспроизводящее свойство должно иметь смысл.$\X = \h = \R^d$$\varphi(x) = x$$f \in \h$$w \in \R^d$$f(x) = w' x$$\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

В более сложных настройках, таких как ядро ​​Гаусса, - гораздо более сложная функция, но свойство воспроизведения все еще сохраняется.$f$

Теперь мы можем дать альтернативную характеристику MMD: Вторая строка - это общий факт о нормах в гильбертовых пространствах:

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$$ $\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ достигается с помощью . Четвертое зависит от технического условия, известного как интегрируемость Бохнера, но верно, например, для ограниченных ядер или распределений с ограниченной поддержкой. Затем в конце мы используем воспроизводящее свойство.$f = g / \lVert g \rVert$

Эта последняя строка объясняет, почему она называется «максимальное среднее расхождение» - это максимальная, сверх тестовых функций в единичном шаре , средней разности между двумя распределениями.$f$$\h$

Вот как я интерпретировал MMD. Два распределения похожи, если их моменты похожи. Применяя ядро, я могу преобразовать переменную так, чтобы вычислялись все моменты (первый, второй, третий и т. Д.). В скрытом пространстве я могу вычислить разницу между моментами и усреднить ее. Это дает меру сходства / различий между наборами данных.