Возможно ли иметь пару гауссовых случайных величин, для которых совместное распределение не является гауссовым?

Кто-то задал мне этот вопрос на собеседовании, и я ответил, что их совместное распространение всегда гауссовское. Я думал, что всегда могу написать двумерный гауссовский язык со своими средствами, дисперсией и ковариациями. Мне интересно, может ли быть случай, когда совместная вероятность двух гауссианов не является гауссовой?

Двустороннее нормальное распределение является исключением , а не правилом!

Важно признать, что «почти все» совместные распределения с нормальными маргиналами не являются двумерным нормальным распределением. То есть общая точка зрения, что совместные распределения с нормальными маргиналами, которые не являются двумерными, являются «патологическими», немного ошибочна.

Конечно, многомерная нормаль чрезвычайно важна из-за ее устойчивости при линейных преобразованиях, и поэтому ей уделяется большое внимание в приложениях.

Примеры

Полезно начать с некоторых примеров. На рисунке ниже представлены тепловые карты шести двумерных распределений, каждый из которых имеет стандартные нормальные маргинальные значения. Левый и средний в верхнем ряду - двумерные нормали, остальные - нет (как должно быть очевидно). Они описаны ниже.

Голые кости связок

Свойства зависимости часто эффективно анализируются с помощью связок . Двумерным копула это просто красивое название для распределения вероятностей на единицу площади с равномерными маргинальными.$[0,1]^2$

Предположим, что - двумерная связка. Тогда, непосредственно из вышесказанного, мы знаем, что , и , например.$C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Мы можем построить двумерные случайные величины на евклидовой плоскости с заданными маргиналами простым преобразованием двумерной связки. Пусть и - предписанные маргинальные распределения для пары случайных величин . Тогда, если - двумерная связка, - двумерная функция распределения с маргиналами и . Чтобы увидеть этот последний факт, просто обратите внимание, что Тот же аргумент работает для .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Для непрерывного и , теорема Скляр в утверждает обратимо подразумевающий уникальность. То есть, учитывая двумерное распределение с непрерывными маргиналами , , соответствующая связка является уникальной (в соответствующем пространстве диапазонов).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

Бивариат нормальный является исключительным

Теорема Склара говорит нам (по существу), что есть только одна связка, которая производит двумерное нормальное распределение. Это метко названная гауссова связка с плотностью на где числитель - это двумерное нормальное распределение с корреляцией оцененной в и .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Но есть много других связок, и все они дадут двумерное распределение с нормальными маргиналами, которое не является двумерным нормальным, используя преобразование, описанное в предыдущем разделе.

Некоторые подробности на примерах

Обратите внимание, что если является произвольной связкой с плотностью , то соответствующая двумерная плотность со стандартными нормальными маргиналами при преобразовании есть $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Обратите внимание, что, применяя гауссову связку в вышеприведенном уравнении, мы восстанавливаем двумерную нормальную плотность. Но для любого другого выбора мы не будем.$c(u,v)$

Примеры на рисунке построены следующим образом (проходя по каждой строке по одному столбцу за раз):

1. Двустороннее нормальное с независимыми компонентами.
2. Двустороннее нормальное с .$\rho = -0.4$
3. Пример , приведенный в этом ответе на Дилип Sarwate . Легко видеть, что он вызван связкой с плотностью .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Генерируется из копулы Франка с параметром .$\theta = 2$
5. Генерируется из копулы Клейтона с параметром .$\theta = 1$
6. Генерируется из асимметричной модификации копулы Клейтона с параметром .$\theta = 3$

Это правда, что каждый элемент многовариантного нормального вектора сам по себе нормально распределен, и вы можете определить их средние значения и дисперсии. Однако неверно, что любые две гуасианские случайные величины совместно распределены нормально. Вот пример:

Изменить: В ответ на согласие, что случайная величина, которая является точечной массой, может рассматриваться как нормально распределенная переменная с , я изменяю свой пример.$\sigma^2=0$

---

Пусть и где - случайная величина . То есть каждый с вероятностью .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Сначала покажем, что имеет стандартное нормальное распределение. $Y$По закону полной вероятности ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Следующий,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

где - стандартный нормальный CDF . По аналогии,$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Следовательно,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

Итак, CDF для есть , поэтому .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Теперь мы покажем, что совместно не распределены нормально. $X,Y$Как указывает @cardinal, одной из характеристик многомерной нормы является то, что каждая линейная комбинация ее элементов нормально распределена. не имеют этого свойства, так как$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Поэтому представляет собой смесь случайной величины и точечной массы в 0, поэтому она не может быть нормально распределена.$Y+X$$50/50$$N(0,4)$

Следующий пост содержит набросок доказательства, просто чтобы дать основные идеи и начать работу.

Пусть две независимые гауссовские случайные величины и пусть будет $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Каждый , но так как они являются линейными комбинациями одного и того же независимого r.vs, они совместно зависимы.$X_i \sim N(\mu_i, \sigma_i^2)$

Определение Пара r.vs называется двумерной нормально распределенной, если ее можно записать в виде линейной комбинации независимой нормальной r.vs .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Лемма Если - двумерный гауссов, то любая другая их линейная комбинация снова является нормальной случайной величиной.$x = (X_1, X_2)$

Доказательство . Тривиально, пропущено, чтобы никого не обидеть.

Свойство Если некоррелированы, то они независимы и наоборот.$X_1, X_2$

Распределение$X_1 | X_2$

Предположим, что - это те же гауссовы числа, что и раньше, но давайте предположим, что они имеют положительную дисперсию и нулевое среднее значение для простоты.$X_1, X_2$

Если - это подпространство, охватываемое , пусть и .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ и являются линейными комбинациями , поэтому тоже. Они совместно являются гауссовыми, некоррелированными (доказывают это) и независимыми.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

Разложение выполняется с помощью

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Тогда

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Две одномерные гауссовские случайные величины совместно являются гауссовыми, если условия и тоже гауссовы.$X, Y$$X | Y$$Y|X$