Ожидаемое значение x в нормальном распределении, ДАЕТ, что оно ниже определенного значения

12

Просто интересно, можно ли найти ожидаемое значение x, если оно нормально распределено, учитывая, что оно ниже определенного значения (например, ниже среднего значения).

жасмин
источник
Это конечно возможно. Как минимум, вы можете рассчитать грубой силой . Или, если вы знаете и вы можете оценить это с помощью симуляции. F(t)1xtf(t)dtμσ
dsaxton
@dsaxton В этой формуле есть некоторые опечатки, но мы поняли идею. Что меня интересует, так это то, как именно вы будете запускать симуляцию, когда порог намного ниже среднего.
whuber
1
@whuber Да, должно быть . Было бы не очень разумно проводить симуляцию, когда близка к нулю, но, как вы указали, в любом случае есть точная формула. F(t)F(x)F(x)
dsaxton
@dsaxton Хорошо, достаточно справедливо. Я только надеялся, что вы имели в виду какую-то умную и простую идею для симуляции из хвоста нормального распределения.
whuber
Более или менее тот же вопрос в Math.SE: math.stackexchange.com/questions/749664/average-iq-of-mensa
JiK

Ответы:

18

Нормально распределенная переменная со средним значением и дисперсией имеет такое же распределение, что и где - стандартная нормальная переменная. Все, что вам нужно знать о , этоμ σ 2 σ Z + μ Z ZXμσ2σZ+μZZ

  • его кумулятивная функция распределения называется ,Φ
  • у него есть функция плотности вероятности , и этоϕ(z)=Φ(z)
  • ϕ(z)=zϕ(z) .

Первые две марки - это просто обозначения и определения: третья - единственное специальное свойство нормальных распределений, которое нам понадобится.

Пусть «определенное значение» быть . Прогнозируя изменение от до , определитеX ZTXZ

t=(Tμ)/σ,

так что

Pr(XT)=Pr(Zt)=Φ(t).

Затем, начиная с определения условного ожидания, мы можем использовать его линейность для получения

E(X|XT)=E(σZ+μ|Zt)=σE(Z|Zt)+μE(1|Zt)=(σtzϕ(z)dz+μtϕ(z)dz)/Pr(Zt)=(σtϕ(z)dz+μtΦ(z)dz)/Φ(t).

Фундаментальная теорема исчисления утверждает, что любой интеграл производной находится путем оценки функции в конечных точках: . Это относится к обоим интегралам. Поскольку и и должны равняться нулю в , мы получаемabF(z)dz=F(b)F(a)Φϕ

E(X|XT)=μσϕ(t)Φ(t).

Это исходное среднее значение за вычетом поправочного члена, пропорционального коэффициенту обратного фрезерования .

! [рисунок: график отношения обратных мельниц

Как и следовало ожидать, обратное отношение Миллса для должно быть положительным и превышать (график которого показан пунктирной красной линией). Он должен уменьшаться до когда становится большим, тогда усечение при (или ) почти ничего не меняет. Поскольку растет очень отрицательно, обратное отношение Миллса должно приближаться к поскольку хвосты нормального распределения уменьшаются так быстро, что почти вся вероятность в левом хвосте сосредоточена вблизи его правой стороны (в точке ).tt0tZ=tX=Tttt

Наконец, когда находится в среднем, где обратное соотношение Миллса равно . Это означает, что ожидаемое значение , усеченное по его среднему значению (которое является отрицательным от полунормального распределения ), в раз превышает его стандартное отклонение ниже исходного среднего.T=μt=02/π0.797885X2/π

Whuber
источник
6

В общем, пусть имеет функцию распределения .XF(X)

У нас, , Вы можете получить специальные случаи, взяв, например, , что дает .x[c1,c2]

P(Xx|c1Xc2)=P(Xxc1Xc2)P(c1Xc2)=P(c1Xx)P(c1Xc2)=F(x)F(c1)F(c2)F(c1)
c1=F(c1)=0

Используя условные файлы cdf, вы можете получить условные плотности (например, для ), которые можно использовать для условных ожиданий.f(x|X<0)=2ϕ(x)XN(0,1)

В вашем примере интеграция по частям дает как в ответе @ whuber.

E(X|X<0)=20xϕ(x)=2ϕ(0),
Кристоф Ханк
источник
+1 (как-то мне это не хватало, когда оно впервые появилось). Первая часть - превосходный отчет о том, как получить усеченные функции распределения, а вторая показывает, как вычислять их PDF-файлы.
whuber