Связь между гамма-распределением и нормальным распределением

26

Недавно я счел необходимым получить pdf для квадрата нормальной случайной величины со средним значением 0. По какой-то причине я предпочел не нормализовать дисперсию заранее. Если я сделал это правильно, то этот PDF-файл выглядит следующим образом:

N2(x;σ2)=1σ2πxex2σ2

Я заметил, что на самом деле это просто параметризация гамма-распределения:

N2(x;σ2)=Gamma(x;12,2σ2)

А затем из того факта, что сумма двух гамм (с одним и тем же параметром масштаба) равна другой гамме, следует, что гамма эквивалентна сумме k квадратов нормальных случайных величин.

NΣ2(x;k,σ2)=Gamma(x;k2,2σ2)

Это было немного удивительно для меня. Несмотря на то, что я знал, что распределение χ2 - распределение суммы квадратов стандартных нормальных RV - было частным случаем гаммы, я не знал, что гамма по сути является просто обобщением, учитывающим сумму нормальных случайных величин из любой дисперсии. Это также приводит к другим характеристикам, с которыми я раньше не сталкивался, таким как экспоненциальное распределение, эквивалентное сумме двух квадратов нормальных распределений.

Это все несколько загадочно для меня. Является ли нормальное распределение фундаментальным для получения гамма-распределения, как я описал выше? В большинстве ресурсов, которые я проверял, не упоминается, что эти два распределения неразрывно связаны, как это, или даже в этом отношении описывается, как получается гамма. Это заставляет меня думать, что действует какая-то истина более низкого уровня, которую я просто запутанно выделил?

timxyz
источник
6
Многие учебники для студентов по теории вероятностей упоминают все вышеупомянутые результаты; но, возможно, статистические тексты не охватывают эти идеи? В любом случае, N(0,σ2) случайная величина Yi просто σXi , где Xi является стандартной нормальной случайной величиной, и так (для н.о.р. переменных) iYi2=σ2iXi2 просто масштабированный χ2Случайная величина не удивительна для тех, кто изучал теорию вероятностей.
Дилип Сарвэйт
Я из области компьютерного зрения, поэтому обычно не сталкиваюсь с теорией вероятности. Ни один из моих учебников (или Википедия) не упоминает эту интерпретацию. Я предполагаю, что я также спрашиваю, что особенного в сумме квадрата двух нормальных распределений, что делает его хорошей моделью для времени ожидания (то есть экспоненциального распределения). Такое ощущение, что мне чего-то не хватает.
Timxyz
3
Поскольку Википедия определяет распределение хи-квадрат как сумму квадратов нормалей на en.wikipedia.org/wiki/Chi-squared_distribution#Definition и упоминает, что хи-квадрат является частным случаем гаммы (на en.wikipedia.org/wiki / Gamma_distribution # Others ), вряд ли можно утверждать, что эти отношения недостаточно известны. Само отклонение просто устанавливает единицу измерения (параметр шкалы) во всех случаях и, таким образом, не вносит никаких дополнительных усложнений.
whuber
3
В то время как эти результаты хорошо известны в области вероятности и статистики, вам, @timxyz, очень приятно, что вы снова обнаружили их в своем собственном анализе.
Восстановить Монику
Эта связь не таинственна, потому что они являются членами экспоненциального семейства распределений, существенное свойство которых заключается в том, что они могут быть получены путем замены переменных и / или параметров. Смотрите более длинный ответ ниже с примерами.
Карл

Ответы:

18

Как отмечается в комментарии профессора Сарвэйта, отношения между квадратом нормали и хи-квадратом являются очень широко распространенным фактом - так же как и тот факт, что хи-квадрат является лишь частным случаем гамма-распределения:

XN(0,σ2)X2/σ2χ12X2σ2χ12=Gamma(12,2σ2)

последнее равенство, вытекающее из свойства масштабирования гаммы.

Что касается отношения с экспонентой, то, если быть точным, это сумма двух квадратов нормалей с нулевым средним, каждая из которых масштабируется по дисперсии другого , что приводит к экспоненциальному распределению:

X1N(0,σ12),X2N(0,σ22)X12σ12+X22σ22χ22σ22X12+σ12X22σ12σ22χ22

σ22X12+σ12X22σ12σ22χ22=Gamma(1,2σ12σ22)=Exp(12σ12σ22)

Но подозрение, что есть «нечто особенное» или «более глубокое» в сумме двух квадратов нулевых средних, которое «делает их хорошей моделью для времени ожидания», необоснованно: во-первых, что особенного в экспоненциальном распределении, которое делает это хорошая модель для "времени ожидания"? Без памяти, конечно, но есть ли здесь что-то «более глубокое», или просто простая функциональная форма функции экспоненциального распределения и свойства ? Уникальные свойства разбросаны по всей математике, и в большинстве случаев они не отражают какую-то «более глубокую интуицию» или «структуру» - они просто существуют (к счастью).e

Во-вторых, квадрат переменной очень мало связан с ее уровнем. Просто рассмотрим в, скажем, [ - 2f(x)=x :[2,2]

enter image description here

... или отобразите стандартную нормальную плотность по отношению к плотности хи-квадрат: они отражают и представляют совершенно разные стохастические поведения, даже если они так тесно связаны, поскольку вторая - это плотность переменной, которая является квадратом первой. Нормаль может быть очень важной опорой математической системы, которую мы разработали для моделирования стохастического поведения - но как только вы возводите это в квадрат, оно становится чем-то совершенно другим.

Алекос Пападопулос
источник
Спасибо за решение, в частности, вопросов в моем последнем абзаце.
Timxyz
2
Пожалуйста. Я должен признать, что рад, что мой ответ достиг первоначального ОП через 26 месяцев после опубликования вопроса.
Алекос Пападопулос
11

Давайте обратимся к поставленному вопросу: для меня все это несколько загадочно. Является ли нормальное распределение фундаментальным для вывода гамма-распределения ...? На самом деле нет ничего загадочного, просто нормальное распределение и гамма-распределение являются членами, среди прочего, экспоненциального семейства распределений, которое определяется способностью преобразовывать между уравнительными формами путем подстановки параметров и / или переменных. Как следствие, существует много преобразований путем замены между распределениями, некоторые из которых суммированы на рисунке ниже.

enter image description hereLEEMIS, Лоуренс М .; Жаклин Т. Макквестон (февраль 2008 г.). «Однофакторные распределительные отношения» (PDF). Американский статистик. 62 (1): 45–53. DOI: 10,1198 / 000313008x270448 цитировать

Вот два отношения нормального и гамма-распределения более подробно (среди неизвестного числа других, например, через хи-квадрат и бета).

Сначала следует более прямая связь между гамма-распределением (GD) и нормальным распределением (ND) со средним нулем. Проще говоря, GD становится нормальным по форме, так как его параметру формы разрешено увеличиваться. Доказать, что это так, сложнее. Для БД

GD(z;a,b)={baza1ezbΓ(a)z>00other.

aa(a1)1akb1a.

To wit, to transform a GD to a limiting case ND we set the standard deviation to be a constant (k) by letting b=1ak and shift the GD to the left to have a mode of zero by substituting z=(a1)1ak+x . Then

GD((a1)1ak+x; a, 1ak)={(ka)aeaxka+1((a1)ka+x)a1Γ(a)x>k(1a)a0other.

Note that in the limit as a the most negative value of x for which this GD is nonzero . That is, the semi-infinite GD support becomes infinite. Taking the limit as a of the reparameterized GD, we find

lima(ka)aeaxka+1((a1)ka+x)a1Γ(a)=ex22k22πk=ND(x;0,k2)

Graphically for k=2 and a=1,2,4,8,16,32,64 the GD is in blue and the limiting ND(x;0, 22) is in orange, below

enter image description here

Second Let us make the point that due to the similarity of form between these distributions, one can pretty much develop relationships between the gamma and normal distributions by pulling them out of thin air. To wit, we next develop an "unfolded" gamma distribution generalization of a normal distribution.

Note first that it is the semi-infinite support of the gamma distribution that impedes a more direct relationship with the normal distribution. However, that impediment can be removed when considering the half-normal distribution, which also has a semi-infinite support. Thus, one can generalize the normal distribution (ND) by first folding it to be half-normal (HND), relating that to the generalized gamma distribution (GD), then for our tour de force, we "unfold" both (HND and GD) to make a generalized ND (a GND), thusly.

The generalized gamma distribution

GD(x;α,β,γ,μ)={γe(xμβ)γ(xμβ)αγ1βΓ(α)x>μ0other,

Can be reparameterized to be the half-normal distribution,

GD(x;12,πθ,2,0)={2θeθ2x2ππx>00other=HND(x;θ)

Note that θ=πσ2. Thus,

ND(x;0,σ2)=12HND(x;θ)+12HND(x;θ)=12GD(x;12,πθ,2,0)+12GD(x;12,πθ,2,0),

which implies that

GND(x;μ,α,β)=12GD(x;1β,α,β,μ)+12GD(x;1β,α,β,μ)=βe(|xμ|α)β2αΓ(1β),

is a generalization of the normal distribution, where μ is the location, α>0 is the scale, and β>0 is the shape and where β=2 yields a normal distribution. It includes the Laplace distribution when β=1. As β, the density converges pointwise to a uniform density on (μα,μ+α). Below is the generalized normal distribution plotted for α=π2,β=1/2,1,4 in blue with the normal case α=π2,β=2 in orange.

enter image description here

The above can be seen as the generalized normal distribution Version 1 and in different parameterizations is known as the exponential power distribution, and the generalized error distribution, which are in turn one of several other generalized normal distributions.

Carl
источник
2

The derivation of the chi-squared distribution from the normal distribution is much analogous to the derivation of the gamma distribution from the exponential distribution.

We should be able to generalize this:

  • If the Xi are independent variables from a generalized normal distribution with power coefficient m then Y=inXim can be related to some scaled Chi-squared distribution (with "degrees of freedom" equal to n/m).

The analogy is as following:

Normal and Chi-squared distributions relate to the sum of squares

  • The joint density distribution of multiple independent standard normal distributed variables depends on xi2
    f(x1,x2,...,xn)=exp(0.5i=1nxi2)(2π)n/2

  • If XiN(0,1)

    then i=1nXi2χ2(ν)

Exponential and gamma distributions relate to the regular sum

  • The joint density distribution of multiple independent exponential distributed variables depends on xi

    f(x1,x2,...,xn)=exp(λi=1nxi)λn

  • If XiExp(λ)

    then i=1nXiGamma(n,λ)


The derivation can be done by a change of variables integrating not over all x1,x2,...xn but instead only over the summed term (this is what Pearson did in 1900). This unfolds very similar in both cases.

For the χ2 distribution:

fχ2(n)(s)ds=es/2(2π)n/2dVdsds=es/2(2π)n/2πn/2Γ(n/2)sn/21ds=12n/2Γ(n/2)sn/21es/2ds

Where V(s)=πn/2Γ(n/2+1)sn/2 is the n-dimensional volume of an n-ball with squared radius s.

For the gamma distribution:

fG(n,λ)(s)ds=eλsλndVdsds=eλsλnnsn1n!ds=λnΓ(n)sn1eλsds

Where V(s)=snn! is the n-dimensional volume of a n-polytope with xi<s.


The gamma distribution can be seen as the waiting time Y for the n-th event in a Poisson process which is the distributed as the sum of n exponentially distributed variables.

As Alecos Papadopoulos already noted there is no deeper connection that makes sums of squared normal variables 'a good model for waiting time'. The gamma distribution is the distribution for a sum of generalized normal distributed variables. That is how the two come together.

But the type of sum and type of variables may be different. While the gamma distribution, when derived from the exponential distribution (p=1), gets the interpretation of the exponential distribution (waiting time), you can not go reverse and go back to a sum of squared Gaussian variables and use that same interpretation.

The density distribution for waiting time which falls of exponentially, and the density distribution for a Gaussian error falls of exponentially (with a square). That is another way to see the two connected.

Sextus Empiricus
источник