Закон полной дисперсии как теорема Пифагора

15

Предположим, что и имеют конечный второй момент. В гильбертовом пространстве случайных величин со вторым конечным моментом (с внутренним произведением определяемым , ), мы можем интерпретировать как проекция на пространство функций .XYT1,T2E(T1T2)||T||2=E(T2)E(Y|X)YX

Мы также знаем, что Закон полной дисперсии читается как

Var(Y)=E(Var(Y|X))+Var(E(Y|X))

Есть ли способ интерпретировать этот закон с точки зрения геометрической картины выше? Мне сказали, что закон такой же, как теорема Пифагора для прямоугольного треугольника со сторонами . Я понимаю, почему треугольник прямоугольный, но не то, как теорема Пифагора захватывает закон полной дисперсии.Y,E(Y|X),YE(Y|X)

renrenthehamster
источник

Ответы:

7

Я предполагаю, что вам удобно рассматривать прямоугольный треугольник как означающий, что E[YX] и YE[YX] являются некоррелированными случайными величинами. Для некоррелированных случайных величин A и B ,

(1)var(A+B)=var(A)+var(B),
и поэтому, если мы установим A=YE[YX] иB=E[YX] так чтоA+B=Y , мы получаем, что
(2)var(Y)=var(YE[YX])+var(E[YX]).
Осталось показать, чтоvar(YE[YX]) совпадает с E[var(YX)] поэтому мы можем переформулировать(2) как
(3)var(Y)=E[var(YX)]+var(E[YX])
которая является формулой общей дисперсии.

Хорошо известно, что ожидаемое значение случайной величины равно E [ Y ] , то есть E [ E [ Y X ] ] = E [ Y ] . Итак, мы видим, что E [ A ] = E [ Y - E [ Y X ] ] = E [ Y ] - E [ E [E[YX]E[Y]E[E[YX]]=E[Y] из чего следует, что var ( A ) = E [ A 2 ] , то есть var ( Y - E [ Y X ] ) = E [ ( Y - E [ Y X ] ) 2 ] . Пусть C обозначает случайную величину ( Y - E [ Y

E[A]=E[YE[YX]]=E[Y]E[E[YX]]=0,
var(A)=E[A2]
(4)var(YE[YX])=E[(YE[YX])2].
C так что мы можем написать, что var ( Y - E [ Y X ] ) = E [ C ] . Но E [ C ] = E [ E [ C X ] ], где E [ C X ] = E [ ( Y - E [ Y X ] )(YE[YX])2
(5)var(YE[YX])=E[C].
E[C]=E[E[CX]] Теперь,учитывая,что X = x , условное распределение Y имеет среднее значение E [ Y X = x ] и, следовательно, E [ ( Y - E [ Y X = x ] ) 2 | X = x ] = var ( Y X = x ) . Другими словами, EE[CX]=E[(YE[YX])2|X].X=xYE[YX=x]
E[(YE[YX=x])2|X=x]=var(YX=x).
так чтослучайная величина E [ C X ] является просто var ( Y X ) . Следовательно, E [ C ] = E [ E [ C X ] ] = E [ var ( Y X ) ] ,E[CX=x]=var(YX=x) E[CX]var(YX)
(6)E[C]=E[E[CX]]=E[var(YX)],
который после подстановки в показывает, что var ( Y - E [ Y X ] ) = E [ var ( Y X ) ] . Это делает правую часть ( 2 ) именно тем, что нам нужно, и поэтому мы доказали формулу полной дисперсии ( 3 ) .(5)
var(YE[YX])=E[var(YX)].
(2)(3)
Дилип Сарватэ
источник
YE(Y|X)var(YE(Y|X))=E[YE(Y|X)]2Evar(Y|X)=E[E((YE(Y|X))2|X)]=E[YE(Y|X)]2
1
E[(YE[Y|X])2]
1
Дилип, многие вероятники правильно интерпретируют уравнение @ mpiktas как написанное; дополнительный набор скобок часто отбрасывается. Возможно, мои глаза обманывают меня, но я думаю, что его обозначения последовательны во всем. Я с радостью помогу исправить ситуацию, если захочу. :-)
кардинал
ЕИксЕИксИксЕИкс2
vaр...
2

Утверждение:

T1T2T1,T2знак равно0

(1)||T1+T2||2знак равно||T1||2+||T2||2,

Наш случай:

T1знак равноЕ(Y|Икс)T2знак равноY-Е[Y|Икс]||Tя||2знак равноЕ[Tя2]T1,T2знак равноЕ[T1T2](1)

(2)Е[Y2]знак равноЕ[{Е(Y|Икс)}2]+Е[(Y-Е[Y|Икс])2],
E[T1T2]=Cov(T1,T2)=0(2)
  1. (E[Y])2Var[Y]

  2. E[{E(Y|X)}2](E[Y])2=Var(E[Y|X])

  3. E[(YE[Y|X])2]=E[E{(YE[Y|X])2}|X]=E[Var(Y|X)].

For details about these three bullet points see @DilipSarwate's post. He explains this all in much more detail than I do.

Taylor
источник