Расстояние Движителя Земли (EMD) между двумя гауссианами

$\DeclareMathOperator\EMD{\mathrm{EMD}} \DeclareMathOperator\E{\mathbb{E}} \DeclareMathOperator\Var{Var} \DeclareMathOperator\N{\mathcal{N}} \DeclareMathOperator\tr{\mathrm{tr}} \newcommand\R{\mathbb R}$ Расстояние движителя земли можно записать как $\EMD(P, Q) = \inf \E \lVert X - Y \rVert$ , где инфимум берется по всем совместным распределениям $X$ и $Y$ с маргинальными $X \sim P$ , $Y \sim Q$ . Это также известно как первое расстояние Вассерштейна , которое равно $W_p = \inf \left( \E \lVert X - Y \rVert^p \right)^{1/p}$ с тем же инфимумом.

Пусть $X \sim P = \N(\mu_x, \Sigma_x)$ , $Y \sim Q = \N(\mu_y, \Sigma_y)$ .

Нижняя граница: по неравенству Дженсена, так как нормы выпуклые,

Е | | Икс - Y | | \geq | | Е (Икс - Y) | | знак равно | | μ_{Икс} - μ_{Y} | |,

$\E \lVert X - Y \rVert \ge \lVert \E (X - Y) \rVert = \lVert \mu_x - \mu_y \rVert,$ поэтому EMD всегда по крайней мере, расстояние между средствами (для любых распределений).

Верхняя граница, основанная на $W_2$ : опять же из-за неравенства Дженсена $\left( \E \lVert X - Y \rVert \right)^2 \le \E \lVert X - Y \rVert^2$ . Таким образом, $W_1 \le W_2$ . Но Доусон и Ландау (1982) устанавливают, что

W_{2} (P, Q)^{2} = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x} + Σ_{y} - 2 (Σ_{x} Σ_{y})^{1 / 2}),

$W_2(P, Q)^2 = \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - 2 (\Sigma_x \Sigma_y)^{1/2} \right) ,$ давая верхнюю границу

E M D = W_{1}

$\EMD = W_1$ .

Более жесткая верхняя граница: рассмотрим соединение Это карта, полученная Ноттом и Смитом (1984) , Об оптимальном отображении распределений , Журнал теории оптимизации и приложений, 43 (1) С. 39-49 как оптимальное отображение для ; см. также этот блог . Обратите внимание, что и

\begin{aligned} X & \sim N (μ_{x}, Σ_{x}) \\ Y & = μ_{y} + \underset{A}{\underset{⏟}{Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{Икс}^{- \frac{1}{2}}}} (Икс - μ_{Икс}), \end{aligned}

$\begin{align} X &\sim \N(\mu_x, \Sigma_x) \\ Y &= \mu_y + \underbrace{\Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12}}_A (X - \mu_x) .\end{align}$

W_{2}

$W_2$

A = A^{T}

$A = A^T$

\begin{aligned} Е Y & знак равно μ_{Y} + A (Е Икс - μ_{Икс}) знак равно μ_{Y} \\ Var Y & знак равно A Σ_{Икс} A^{T} \\ знак равно Σ_{Икс}^{- \frac{1}{2}} {(Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{Икс}^{- \frac{1}{2}} Σ_{Икс} Σ_{Икс}^{- \frac{1}{2}} {(Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{Икс}^{- \frac{1}{2}} \\ знак равно Σ_{Икс}^{- \frac{1}{2}} (Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}}) Σ_{Икс}^{- \frac{1}{2}} \\ знак равно Σ_{Y}, \end{aligned}

$\begin{align} \E Y &= \mu_y + A (\E X - \mu_x) = \mu_y \\ \Var Y &= A \Sigma_x A^T \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \Sigma_x \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right) \Sigma_x^{-\frac12} \\&= \Sigma_y ,\end{align}$ поэтому связь действительна.

Расстояние тогда равно , где теперь что нормально с $\lVert X - Y \rVert$ $\lVert D \rVert$

\begin{aligned} D & знак равно Икс - Y \\ знак равно Икс - μ_{Y} - A (Икс - μ_{Икс}) \\ знак равно (я - A) Икс - μ_{Y} + A μ_{Икс}, \end{aligned}

$\begin{align} D &= X - Y \\&= X - \mu_y - A (X - \mu_x) \\&= (I - A) X - \mu_y + A \mu_x ,\end{align}$

\begin{aligned} Е D & знак равно μ_{Икс} - μ_{Y} \\ Var D & знак равно (я - A) Σ_{Икс} (я - A)^{T} \\ знак равно Σ_{Икс} + A Σ_{Икс} A - A Σ_{Икс} - Σ_{Икс} A \\ знак равно Σ_{Икс} + Σ_{Y} - Σ_{Икс}^{- \frac{1}{2}} {(Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{Икс}^{\frac{1}{2}} - Σ_{Икс}^{\frac{1}{2}} {(Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{Икс}^{- \frac{1}{2}}, \end{aligned}

$\begin{align} \E D &= \mu_x - \mu_y \\ \Var D &= (I - A) \Sigma_x (I - A)^T \\&= \Sigma_x + A \Sigma_x A - A \Sigma_x - \Sigma_x A \\&= \Sigma_x + \Sigma_y - \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} - \Sigma_x^{\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} .\end{align}$

Таким образом, верхняя оценка для равна . К сожалению, закрытую форму для этого ожидания удивительно неприятно записать для общих многомерных нормалей: см. Этот вопрос , а также этот . $W_1(P, Q)$ $\E \lVert D \rVert$

Если дисперсия оказывается сферической (например, если , , то дисперсия становится ), прежняя Вопрос дает ответ в терминах обобщенного полинома Лагерра. $D$ $\Sigma_x = \sigma_x^2 I$ $\Sigma_y = \sigma_y^2 I$ $D$ $(\sigma_x - \sigma_y)^2 I$

В общем, у нас есть простая верхняя оценка для основанная на неравенстве Дженсена, полученная, например, из первого вопроса: $\E \lVert D \rVert$

\begin{aligned} {(Е | | D | |)}^{2} & \leq Е | | D {| |}^{2} \\ знак равно | | μ_{Икс} - μ_{Y} {| |}^{2} + T р (Σ_{Икс} + Σ_{Y} - A Σ_{Икс} - Σ_{Икс} A) \\ знак равно | | μ_{Икс} - μ_{Y} {| |}^{2} + T р (Σ_{Икс}) + T р (Σ_{Y}) - 2 T р (Σ_{Икс}^{- \frac{1}{2}} {(Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{Икс}^{\frac{1}{2}}) \\ знак равно | | μ_{Икс} - μ_{Y} {| |}^{2} + T р (Σ_{Икс}) + T р (Σ_{Y}) - 2 T р ({(Σ_{Икс}^{\frac{1}{2}} Σ_{Y} Σ_{Икс}^{\frac{1}{2}})}^{\frac{1}{2}}) \\ знак равно W_{2} (п, Q)^{2}, \end{aligned}

$\begin{align} \left( \E \lVert D \rVert \right)^2 &\le \E \lVert D \rVert^2 \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - A \Sigma_x - \Sigma_x A \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \Sigma_x^{-\frac12} \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \right) \\&= W_2(P, Q)^2 .\end{align}$ Равенство в конце объясняется тем, что матрицы и похожи Таким образом, они имеют одинаковые собственные значения, и, следовательно, их квадратные корни имеют одинаковый след.

Σ_{x} Σ_{y}

$\Sigma_x \Sigma_y$

Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}} = Σ_{x}^{- \frac{1}{2}} (Σ_{x} Σ_{y}) Σ_{x}^{\frac{1}{2}}

$\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 = \Sigma_x^{-\frac12} (\Sigma_x \Sigma_y) \Sigma_x^{\frac12}$

Это неравенство является строгим до тех пор, пока не вырожден, что в большинстве случаев имеет место . $\lVert D \rVert$ $\Sigma_x \ne \Sigma_y$

Гипотеза : может быть, эта более близкая верхняя граница, , является жесткой. С другой стороны, у меня в течение долгого времени была другая верхняя граница, которую я предположил, чтобы быть жесткой, которая на самом деле была более слабой, чем , так что, возможно, вам не следует слишком сильно доверять этой гипотезе. :) $\E \lVert D \rVert$ $W_2$

Дугал
источник

Расстояние Движителя Земли (EMD) между двумя гауссианами

Ответы: