Какая наиболее удивительная характеристика гауссова (нормального) распределения?

52

Стандартизированное распределение Гаусса в можно определить, явно указав его плотность: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

или его характерная функция.

Как указано в этом вопросе, это также единственное распределение, для которого выборочное среднее и дисперсия независимы.

Какие еще удивительные альтернативные характеристики гауссовских мер вы знаете? Я приму самый удивительный ответ

probability normal-distribution mathematical-statistics characteristic-function робин джирард
источник

39

Мое личное удивление связано со средним и дисперсией выборки, но вот еще одна (может быть) удивительная характеристика: если и являются IID с конечной дисперсией, причем и независимы, то и нормальны. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Интуитивно, мы обычно можем определить, когда переменные не являются независимыми с диаграммой рассеяния. Итак, представьте диаграмму рассеяния пар, которая выглядит независимой. Теперь поверните на 45 градусов и посмотрите снова: если он все еще выглядит независимым, то координаты и отдельности должны быть нормальными (конечно, все это говорит свободно). $(X,Y)$ $X$ $Y$

Чтобы понять, почему работает интуитивный бит, взгляните на

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

user1108
источник

3

Джей - это в основном переосмысление среднего значения и дисперсии как независимой. - это пересчитанное среднее значение, а - пересчитанное стандартное отклонение.

X + Y

$X+Y$

X - Y

$X-Y$

вероятностная

5

@probabilityislogic - мне нравится интуиция того, что вы сказали, но я не думаю, что это точно переформулировка, потому что не точно перемасштабирует SD: SD забывает знак. Таким образом, независимость от среднего и SD следует из независимости , (когда ), но не наоборот. Возможно, это то, что вы имели в виду под «в основном». Во всяком случае, это хорошие вещи.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Где мы можем найти доказательства этого свойства?

Рой

1

@Royi см. Здесь 16 . Для (а) обратите внимание, что . Для (b) обратите внимание, что который жаждет замены из которого вы получаете . Если , то , следовательно, для всех , и существует последовательность такая, что и для всех , что противоречит непрерывности в

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ , (с) прямолинейный [продолжение]

Габриэль Ромон

1

Для (d) . Обратите внимание, что , следовательно, . Включите это в предыдущее равенство и докажите, что для фиксированного , что подразумевает для всех . Это означает, что является действительным, и равенство в (a) превращается в то, что задают. Еще раз, докажите, что и используйте чтобы получить . Следовательно, и

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ нормально.

Габриэль Ромон

27

Непрерывное распределение с фиксированной дисперсией, которая максимизирует дифференциальную энтропию, является гауссовым распределением.

shabbychef
источник

22

Об этом написана целая книга: «Характеристики нормального вероятностного закона», AM Mathai & G. Perderzoli. Краткий обзор в JASA (декабрь 1978) упоминает следующее:

Пусть - независимые случайные величины. Тогда и независимы, где , если и только если [нормально] распределены. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

whuber
источник

3

должно быть условие, такое отсутствует? например, если n = 2 и не являются независимыми.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

Робин Жирар

1

@ Робин хороший улов. Я тоже ломал голову над неявными квантификаторами. К сожалению, все, к чему у меня есть доступ, это цитата из обзора, а не книга. Было бы интересно найти его в библиотеке и просмотреть его ...

whuber

Это похоже на обобщение ответа Дж. Керна (в настоящее время № 1).

vqv

Я думаю, что вы, возможно, ищете бумагу Lukacs & King (1954). Смотрите этот ответ на math.SE со ссылкой на вышеупомянутую статью.

кардинал

2

Где это предложение говорит: «где », означает ли это для КАЖДОГО набора скаляров, где «? Я ненавижу видеть« где »используется вместо« для каждого »или« для некоторых »». Где «следует использовать для объяснения обозначений, например,« где - скорость света, а - валовой внутренний продукт »и т. Д.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Майкл Харди

17

Гауссовы распределения являются единственными устойчивыми по сумме распределениями с конечной дисперсией.

shabbychef
источник

8

То, что они являются стабильными в сумме и что они являются уникальными с конечной дисперсией, навязано нам CLT. Интересная часть этого утверждения состоит в том, что существуют другие устойчивые к сумме распределения!

whuber

1

@whuber: действительно! эта характеристика немного искажена, а другие стабильные по сумме распределения, возможно, более любопытны.

Шаббычеф

@whuber на самом деле, я не понимаю, как CLT подразумевает этот факт. Это только говорит нам о том , что асимптотически сумма нормалей нормальна, а не то, что любая конечная сумма нормально распределена. Или вам нужно как-то использовать теорему Слуцкого?

Шаббычеф

3

Приняв обычную стандартизацию, сумма двух нормалей представляет собой сумму одного нормального распределения X_0 плюс предельное распределение ряда X_1, X_2, ..., откуда сумма является предельным распределением X_0, X_1, ..., которое по Линдебергу-Леви CLT это нормально.

whuber

17

Лемма Стейна дает очень полезную характеристику. является стандартным гауссовым тогда и только тогда, когда для всех абсолютно непрерывных функций с . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

Vqv
источник

12

Теорема [Гершеля-Максвелла]: Пусть - случайный вектор, для которого (i) проекции на ортогональные подпространства независимы и (ii) распределение зависит только от длины, Тогда нормально распределен. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Цитируется Джорджем Коббом в « Обучающей статистике: некоторые важные противоречия» (Chilean J. Statistics Vol. 2, No. 1, апрель 2011 г.) на с. 54.

Кобб использует эту характеристику в качестве отправной точки для получения , и без исчисления (или теории вероятностей). $\chi^2$ $t$ $F$

whuber
источник

9

Пусть и две независимые случайные величины с таким общим симметричным распределением, что $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Тогда эти случайные величины являются гауссовыми. (Очевидно, что если и центрированы по Гауссу, это правда.) $\xi$ $\eta$

Это теорема Бобкова-Гудре

robin girard
источник

9

Это не характеристика, а предположение, которое восходит к 1917 году и связано с Кантелли:

Если - положительная функция на а и - независимых случайных величин, таких что - нормальное, то - постоянная почти всюду. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Упомянутый Жерара Letac здесь .

ли
источник

это хорошо, что вы упоминаете об этом! Я не могу понять интуицию, а вы?

Робин Жирар

@robin Это то, что делает эту гипотезу такой особенной: совершенно элементарное утверждение, некоторые очевидные подходы, которые с треском проваливаются (характерные функции), и одному не остается ничего понять ... Кстати, стоит ли делать ставку на гипотезу, которая была бы верной или ложь? Даже это не очевидно (для меня).

сделал

2

Если Жерар Летак не смог доказать это, он может долго оставаться открытой догадкой ...!

Сиань

@ Сиань: я полностью согласен, конечно. (Не знаю , что вы были роуминг в этих кварталах Сети ... Хорошие новости , что вы.)

Сделал

6

@ Сиань Вот препринт Виктора Клепцына и Алины Курцманн с контрпримером к гипотезе Кантелли. Конструкция использует новый инструмент, который авторы называют броуновским переносом масс, и дает разрывную функцию . Авторы утверждают, что полагают, что гипотеза Кантелли справедлива, если спросить, что непрерывно (их смесь двух непрерывных функций).

f

$f$

f

$f$

сделал

8

Предположим, что один оценивает параметр местоположения, используя данные iid . Если является оценщиком максимального правдоподобия, то распределение выборки является гауссовым. Согласно теории вероятностей Джейнса : логика науки, с. 202-4, именно так Гаусс и получил ее. $\{x_1,...,x_n\}$ $\bar{x}$

Cyan
источник

Я не уверен, что понимаю это как характеристику нормального распределения, так что я, вероятно, что-то упускаю. Что если бы у нас были данные Пуассона и мы хотели оценить ? MLE - это но выборочное распределение не является гауссовским - во-первых, должен быть рациональным; во-вторых, если бы это было гауссово, то было бы но это .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Серебряная рыбка

2

Среднее Пуассона не является параметром местоположения!

kjetil b halvorsen

6

Более конкретная характеристика нормального распределения среди классов бесконечно делимых распределений представлена в Steutel и Van Harn (2004) .

бесконечно делимая случайная величина имеет нормальное распределение тогда и только тогда, когда она удовлетворяет $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Этот результат характеризует нормальное распределение с точки зрения поведения хвоста.

оборота user10525
источник

1

Краткое доказательство указанного предела заключается в следующем: если стандартно нормальный, то как , поэтому . Но и поэтому результат следует. Грубый набросок для случая Пуассона, кажется, указывает на то, что заданный предел равен , но я не проверял это слишком внимательно.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

кардинал

6

В контексте сглаживания изображения (например, масштабного пространства ) гауссово является единственным вращательно-симметричным сепарабельным * ядром.

То есть, если нам требуется где , то вращательная симметрия требует что эквивалентно .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Требование, чтобы было собственным ядром, требует, чтобы константа была отрицательной, а начальное значение - положительным, в результате чего получилось ядро Гаусса. $f[x]$

* В контексте распределения вероятностей отделимое означает независимое, в то время как в контексте фильтрации изображения оно позволяет вычислительно свести двумерную свертку до двух одномерных сверток.

GeoMatt22
источник

2

+1 Но не следует ли это из непосредственного применения теоремы Гершеля-Максвелла в 2D?

whuber

@whuber Действительно, каким-то образом мне удалось пропустить ваш ответ при просмотре этой темы!

амеба говорит восстановить

@whuber Да. Я не читал подробно эту старую ветку и просто добавил этот ответ по запросу.

GeoMatt22

1

@amoeba смотрите также здесь .

GeoMatt22

3

Недавно Эйсмонт [1] опубликовал статью с новой характеристикой Гаусса:

Пусть - независимые случайные векторы со всеми моментами, где невырождены, и пусть статистика имеют распределение, которое зависит только от , где и . Тогда независимы и имеют одинаковое нормальное распределение с нулевым и для . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1]. Эйсмонт, Виктор. «Характеризация нормального распределения независимостью пары случайных векторов». Статистика и вероятностные письма 114 (2016): 1-5.

Даниил
источник

1

Это деликатная и захватывающая характеристика. Спасибо за улучшение этой темы, поделившись ею!

whuber

1

Его характерная функция имеет ту же форму, что и его PDF. Я не уверен в другом распределении, которое делает это.

Джейсон
источник

4

Смотрите этот мой ответ о путях построения случайных величин, характеристические функции которых совпадают с их PDF-файлов.

Дилип Сарвате

-1

Ожидание плюс минус стандартное отклонение - это седловые точки функции.

Таль Галили
источник

11

Конечно, это свойство нормального распределения, но оно не характеризует его, поскольку множество других распределений также имеют это свойство.

whuber

Какая наиболее удивительная характеристика гауссова (нормального) распределения?

Ответы: