Линейность дисперсии

16

Я думаю, что следующие две формулы верны:

V a r ( X + Y ) = V a r ( X ) + V a r ( Y ) X

Var(aX)=a2Var(X)
то время как a является постоянным числом если , независимы
Var(X+Y)=Var(X)+Var(Y)
XY

Тем не менее, я не уверен, что не так с ниже:

2 2 V a r ( X ) 4 V a r ( X )

Var(2X)=Var(X+X)=Var(X)+Var(X)
который не равен , то есть .22Var(X)4Var(X)

Если предполагается, что - это образец, взятый из популяции, я думаю, мы всегда можем предположить, что не зависит от других s.XXX

Так что не так с моим замешательством?

lanselibai
источник
8
Дисперсия не линейна - ваше первое утверждение показывает это (если бы это было так, вы бы имели . С другой стороны, ковариация является билинейной.Var(aX)=aVar(X)
Бэтмен

Ответы:

33

Проблема с вашей линией рассуждений

«Я думаю, что мы всегда можем предположить, что X независим от других X ».

не зависит от X . Символ X используется здесь для обозначения той же случайной величины. Как только вы узнаете значение первого X, которое появится в вашей формуле, это также исправит значение второго X, которое должно появиться. Если вы хотите, чтобы они ссылались на разные (и потенциально независимые) случайные величины, вам нужно обозначить их разными буквами (например, X и Y ) или использовать индексы (например, X 1 и X 2 ); последний часто (но не всегда) используется для обозначения переменных, взятых из одного и того же распределения.XXXXXXYX1X2

XYPr ( X = a ) Y X Pr ( X = a | X = b ) 1 a = b 0 X XPr(X=a|Y=b)Pr(X=a)YXPr(X=a|X=b)1a=b0XX

Другой способ видеть вещи в том , что если две переменные независимы , то они имеют нулевую корреляцию (хотя нулевая корреляция не означает независимость !) , Но является вполне коррелируют с собой, , так не может быть независимо от себя. Обратите внимание, что поскольку ковариация определяется как , тоCorr ( X , X ) = 1 X Cov ( X , Y ) = Corr ( X , Y ) XCorr(X,X)=1X Cov(X,X)=1Cov(X,Y)=Corr(X,Y)Var(X)Var(Y)

Cov(X,X)=1Var(X)2=Var(X)

Более общая формула для дисперсии суммы двух случайных величин

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

В частности, , поэтомуCov(X,X)=Var(X)

Var(X+X)=Var(X)+Var(X)+2Var(X)=4Var(X)

что так же, как вы могли бы вывести из применения правила

Var(aX)=a2Var(X)Var(2X)=4Var(X)

Если вас интересует линейность, то вас может заинтересовать билинейность ковариации. Для случайных величин , , и (зависимых или независимых) и постоянных , , и мы имеемX Y Z a b c dWXYZabcd

Cov(aW+bX,Y)=aCov(W,Y)+bCov(X,Y)

Cov(X,cY+dZ)=cCov(X,Y)+dCov(X,Z)

и в целом,

Cov(aW+bX,cY+dZ)=acCov(W,Y)+adCov(W,Z)+bcCov(X,Y)+bdCov(X,Z)

Затем вы можете использовать это, чтобы доказать (нелинейные) результаты для дисперсии, которые вы написали в своем посте:

Var(aX)=Cov(aX,aX)=a2Cov(X,X)=a2Var(X)

Var(aX+bY)=Cov(aX+bY,aX+bY)=a2Cov(X,X)+abCov(X,Y)+baCov(X,Y)+b2Cov(Y,Y)Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y)

Последнее дает, как частный случай, когда ,a=b=1

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

Когда и некоррелированы (что включает случай, когда они независимы), тогда это сводится к . Поэтому, если вы хотите манипулировать отклонениями «линейным» способом (который часто является хорошим способом алгебраической работы), тогда вместо этого работайте с ковариациями и используйте их билинейность.Y Var ( X + Y ) = Var ( X ) + Var ( Y )XYVar(X+Y)=Var(X)+Var(Y)

тарпон
источник
1
Да! Я думаю, что вы точно указали в начале, что путаница была по сути нотационной. Я нахожу это очень полезным, когда одна книга (очень явно, некоторые могут сказать трудоемко) объясняет толкование и правила оценки вероятностного утверждения (например, даже если вы знаете, что вы подразумеваете под где , это технически неверно, если вы бросить в кости (и никогда не приведет к нечетному броску); событие будет правильно выражено с использованием iid). X Равномерное ( 1..6 )Pr(X+X=n)XUniform(1..6)nX+X=2XX1,X2
Вандермонде
1
Это в отличие от (и я думаю , что мой превратное , возможно, обусловлена) , как 2+PRNG(6)+PRNG(6)часто это как бы вы бросить кости , как описано выше , и / или обозначения / конвенции , такие как в котором разные экземпляры действительно предназначены быть независимыми. 2d6=d6+d6
Вандермонде
@ Vandermonde Это интересный момент. Сначала я подумывал упомянуть использование подписей, чтобы различать «разные », но не стал беспокоиться - думаю, я мог бы отредактировать его сейчас. Аргумент, что «вы никогда не получите нечетный общий балл, если бы сумма была », очень ясен и убедителен для тех, кто не видит необходимости различать: спасибо, что поделились им. X2X
Серебряная рыба
0

Другой способ думать об этом является то , что со случайными переменными .2XX+X

2X будет означать два раза значение исхода , в то время как будет означать два испытания . Другими словами, это разница между броском кубика один раз и удвоением результата, по сравнению с броском кубика дважды.XX+XX

Вениамин
источник
+1 Это совершенно четкий и правильный ответ. Добро пожаловать на наш сайт!
whuber
Спасибо @whuber!
Бенджамин