Дисперсия функции одной случайной величины

Допустим, у нас есть случайная величина с известной дисперсией и средним значением. Вопрос в том, какова дисперсия для некоторой заданной функции f. Единственный общий метод, который мне известен, - это дельта-метод, но он дает только приблизительное значение. Теперь меня интересует $X$ $f(X)$ $f(x)=\sqrt{x}$ , но было бы также неплохо узнать некоторые общие методы.

Редактировать 29.12.2010
Я провел некоторые расчеты с использованием рядов Тейлора, но я не уверен, верны ли они, поэтому я был бы рад, если бы кто-то смог их подтвердить .

Сначала нам нужно приблизить $E[f(X)]$
$E[f(X)] \approx E[f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2]=f(\mu)+\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Теперь мы можем приблизить $D^2 [f(X)]$
$E[(f(X)-E[f(X)])^2] \approx E[(f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2 -E[f(X)])^2]$

Используя приближение $E[f(X)]$ мы знаем, что $f(\mu)-Ef(x) \approx -\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Используя это, мы получаем:
$D^2[f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2\cdot Var[X]^2-\frac{1}{2}\cdot f''(\mu)^2\cdot Var[X]^2 + f'(\mu)^2\cdot Var[X]+\frac{1}{4}f''(\mu)^2\cdot E[(X-\mu)^4] +\frac{1}{2}f'(\mu)f''(\mu)E[(X-\mu)^3]$
$D^2 [f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2 \cdot [D^4 X-(D^2 X)^2]+f'(\mu)\cdot D^2 X +\frac{1}{2}f'(\mu)f''(\mu)D^3 X$

variance random-variable delta-method Томек Тарчинский
источник

Дельта-метод используется для асимптотических распределений. Вы не можете использовать, когда у вас есть только одна случайная величина.

mpiktas

@mpiktas: На самом деле я мало что знаю о методе Дельта, я только что прочитал кое-что в Википедии. Это цитата из вики: «Дельта-метод использует разложения Тейлора второго порядка для аппроксимации дисперсии функции одной или нескольких случайных величин».

Томек Тарчински

кажется, что в Википедии есть именно то, что вы хотите: en.wikipedia.org/wiki/… . Я пересмотрю свой ответ, кажется, что я недооценил расширение Тейлора.

mpiktas

Томек, если вы не согласны с изменениями, которые были сделаны (не мной), вы всегда можете изменить их снова или откатить назад, или просто указать на различия и попросить разъяснений.

Glen_b

@Glen_b: я согласен с ними E (X-mu) = 0 не означает, что E [(X-mu) ^ 3] = 0.

Томек Тарчински

Ответы:

Обновить

Я недооценил расширения Тейлора. Они на самом деле работают. Я предположил, что интеграл от остаточного члена может быть неограниченным, но, немного поработав, можно показать, что это не так.

Разложение Тейлора работает для функций в ограниченном замкнутом интервале. Для случайных величин с конечной дисперсией неравенство Чебышева дает

п (| Икс - Е Икс | > с) \leq \frac{В a р (Икс)}{с}

$P(|X-EX|>c)\le \frac{Var(X)}{c}$

Таким образом, для любого мы можем найти достаточно большой чтобы $\varepsilon>0$ $c$

п (Икс \in [Е Икс - с, Е Икс + с]) знак равно п (| Икс - Е Икс | \leq с) < 1 - ε

$P(X\in [EX-c,EX+c])=P(|X-EX|\le c)<1-\varepsilon$

Сначала оценим . Имеем где - функция распределения для $Ef(X)$

\begin{aligned} E f (X) = \int_{| x - E X | \leq c} f (x) d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)=\int_{|x-EX|\le c}f(x)dF(x)+\int_{|x-EX|>c}f(x)dF(x) \end{align}$

F (x)

$F(x)$

X

$X$

Поскольку областью первого интеграла является интервал который является ограниченным замкнутым интервалом, мы можем применить разложение Тейлора: $[EX-c,EX+c]$ где, и равенство выполняется для всех. Я взял только 4 члена в разложении Тейлора, но в общем случае мы можем взять столько, сколько захотим, при условии, что функциядостаточно гладкая.

\begin{aligned} f (x) = f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + \frac{f^{‴} (α)}{3} (x - E X)^{3} \end{aligned}

$\begin{align} f(x)=f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+\frac{f'''(\alpha)}{3}(x-EX)^3 \end{align}$

α \in [E X - c, E X + c]

$\alpha\in [EX-c,EX+c]$

x \in [E X - c, E X + c]

$x\in[EX-c,EX+c]$

f

$f$

Подставляя эту формулу в предыдущую, получим

\begin{aligned} E f (X) & = \int_{| x - E X | \leq c} f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} d F (x) \\ + \int_{| x - E X | \leq c} \frac{f^{‴} (α)}{3} (x - E X)^{3} d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)&=\int_{|x-EX|\le c}f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2dF(x)\\\\ &+\int_{|x-EX|\le c}\frac{f'''(\alpha)}{3}(x-EX)^3dF(x) +\int_{|x-EX|>c}f(x)dF(x) \end{align}$

\begin{aligned} E f (X) & = f (E X) + \frac{f^{″} (E X)}{2} E (X - E X)^{2} + R_{3} \end{aligned}

$\begin{align} Ef(X)&=f(EX)+\frac{f''(EX)}{2}E(X-EX)^2+R_3\\\\ \end{align}$

\begin{aligned} R_{3} & = \frac{f^{‴} (α)}{3} E (X - E X)^{3} + \\ + \int_{| x - E X | > c} (f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + f (X)) d F (x) \end{aligned}

$\begin{align} R_3&=\frac{f'''(\alpha)}{3}E(X-EX)^3+\\\\ &+\int_{|x-EX|>c}\left(f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+f(X)\right)dF(x) \end{align}$ Now under some moment conditions we can show that the second term of this remainder term is as large as

P (| X - E X | > c)

$P(|X-EX|>c)$ which is small. Unfortunately the first term remains and so the quality of the approximation depends on

E (X - E X)^{3}

$E(X-EX)^3$ and the behaviour of third derivative of

f

$f$ in bounded intervals. Such approximation should work best for random variables with

E (X - E X)^{3} = 0

$E(X-EX)^3=0$ .

Now for the variance we can use Taylor approximation for $f(x)$ , subtract the formula for $Ef(x)$ and square the difference. Then

$E(f(x)-Ef(x))^2=(f'(EX))^2Var(X)+T_3$

where $T_3$ involves moments $E(X-EX)^k$ for $k=4,5,6$ . We can arrive at this formula also by using only first-order Taylor expansion, i.e. using only the first and second derivatives. The error term would be similar.

Other way is to expand $f^2(x)$ :

\begin{aligned} f^{2} (x) & = f^{2} (E X) + 2 f (E X) f^{'} (E X) (x - E X) \\ + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] (X - E X)^{2} + \frac{(f^{2} (β))^{‴}}{3} (X - E X)^{3} \end{aligned}

$\begin{align} f^2(x)&=f^2(EX)+2f(EX)f'(EX)(x-EX)\\\\ &+[(f'(EX))^2+f(EX)f''(EX)](X-EX)^2+\frac{(f^2(\beta))'''}{3}(X-EX)^3 \end{align}$

Similarly we get then

\begin{aligned} E f^{2} (x) = f^{2} (E X) + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] V a r (X) + {\tilde{R}}_{3} \end{aligned}

$\begin{align*} Ef^2(x)=f^2(EX)+[(f'(EX))^2+f(EX)f''(EX)]Var(X)+\tilde{R}_3 \end{align*}$ where

{\tilde{R}}_{3}

$\tilde{R}_3$ is similar to

R_{3}

$R_3$ .

Формула для дисперсии становится

\begin{aligned} В a р (е (Икс)) знак равно [е^{'} (Е Икс)]^{2} В a р (Икс) - \frac{[е^{"} (Е Икс)]^{2}}{4} В a р^{2} (Икс) + {\tilde{T}}_{3} \end{aligned}

$\begin{align} Var(f(X))=[f'(EX)]^2Var(X)-\frac{[f''(EX)]^2}{4}Var^2(X)+\tilde{T}_3 \end{align}$ где

{\tilde{T}}_{3}

$\tilde{T}_3$ есть только третьи моменты и выше.

mpiktas
источник

Мне не нужно знать точное значение дисперсии, приближение должно работать для меня.

Томек Тарчински

Действительно, приближенная формула для

E [f (X)]

$\mathbb{E}[f(X)]$ в ОП часто используется при анализе рисков в экономике, финансах и страховании.

Раскольников

@Raskolnikov, да, но это противоречит моим восхитительно устаревшим знаниям о расширении Тейлора. Ясно, что оставшийся срок должен быть принят во внимание. Если случайная величина ограничена, то проблем нет, поскольку многочлены приближают непрерывные функции на ограниченном интервале равномерно. Но мы имеем дело с неограниченными случайными величинами. Конечно, для случайной нормали можно сказать, что она эффективно ограничена, но все же в общем случае могут возникнуть некоторые неприятные сюрпризы, или нет. Я исправлю свой ответ, когда у меня будет четкий ответ.

mpiktas

@ Томек Тарчинский, третья производная от

\sqrt{x}

$\sqrt{x}$ идет к нулю довольно быстро для больших

x

$x$ , но неограничен вблизи нуля. Таким образом, если вы выбрали равномерное распределение с поддержкой, близкой к нулю, оставшийся член может стать большим.

mpiktas

Обратите внимание, что в вашей ссылке равенство является приблизительным. В этом ответе все уравнения точны. Кроме того, для отклонения отметим, что первая производная оценивается на

E X

$EX$ не

x

$x$ , Кроме того, я никогда не говорил, что это не будет работать для

\sqrt{x}

$\sqrt{x}$ , только что для

\sqrt{x}

$\sqrt{x}$ приблизительная формула может иметь огромную ошибку, если

X

$X$ Домен близок к нулю.

mpiktas

Знать первые два момента X (среднее значение и дисперсию) недостаточно, если функция f (x) произвольна (нелинейна). Не только для вычисления дисперсии преобразованной переменной Y, но и для ее среднего. Чтобы увидеть это - и, возможно, атаковать вашу проблему - вы можете предположить, что ваша функция преобразования имеет расширение Тейлора вокруг среднего значения X и работает оттуда.

леонблой
источник