Дисперсия ограниченной случайной величины

22

Предположим, что случайная величина имеет нижнюю и верхнюю границы [0,1]. Как рассчитать дисперсию такой переменной?

variance standard-deviation measurement-error Петр
источник

8

То же самое, что и для неограниченной переменной - установка границ интегрирования или суммирования соответствующим образом.

Scortchi - Восстановить Монику

2

Как сказал @ Scortchi. Но мне любопытно, почему вы подумали, что это может быть иначе?

Питер Флом - Восстановить Монику

3

Если вы ничего не знаете о переменной (в этом случае верхняя граница дисперсии может быть вычислена из существования границ), почему факт, что она ограничена, входит в расчет?

Glen_b

6

Полезным верхняя граница дисперсии случайной переменной , которая принимает значения в

[a, b]

$[a,b]$ с вероятностью

1

$1$ является

(b - a)^{2} / 4

$(b-a)^2/4$ , и достигается за счет дискретной случайной переменной , которая принимает значения

a

$a$ и

b

$b$ с равными вероятность

\frac{1}{2}

$\frac{1}{2}$ . Еще один момент, о котором следует помнить, это то, что дисперсия гарантированно существует, тогда как неограниченная случайная величина может не иметь дисперсии (некоторые, такие как случайные величины Коши, даже не имеют среднего значения).

Дилип Сарвате

7

Там вне дискретная случайная величина, дисперсия равна

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$ точно:случайная величина, которая принимает значения

a

$a$ и

b

$b$ с равной вероятностью

\frac{1}{2}

$\frac{1}{2}$ . Итак, по крайней мере, мы знаем, что универсальная верхняя граница дисперсии не может быть меньше, чем

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$ .

Дилип Сарват

46

Вы можете доказать неравенство Поповичу следующим образом. Используйте обозначение $m=\inf X$ и $M=\sup X$ . Определите функцию $g$ помощью

g (t) = E [{(X - t)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$ Вычисление производной

g^{'}

$g'$ и решение

g^{'} (t) = - 2 E [X] + 2 t = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

Теперь рассмотрим значение функции в специальной точке . Должно быть так, что Но Поскольку и , мы имеем подразумевая, что $g$ $t=\frac{M+m}{2}$

V a r [X] = g (E [X]) \leq g (\frac{M + m}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

g (\frac{M + m}{2}) = E [{(X - \frac{M + m}{2})}^{2}] = \frac{1}{4} E [{((X - m) + (X - M))}^{2}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - m) + (X - M))}^{2} \leq {((X - m) - (X - M))}^{2} = {(M - m)}^{2},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} E [{((X - m) + (X - M))}^{2}] \leq \frac{1}{4} E [{((X - m) - (X - M))}^{2}] = \frac{(M - m)^{2}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

Таким образом, мы доказали неравенство Поповичу

V a r [X] \leq \frac{(M - m)^{2}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

Zen
источник

3

Хороший подход: приятно видеть строгие демонстрации подобных вещей.

whuber

22

+1 Здорово! Я изучал статистику задолго до того, как компьютеры были в моде, и одна идея, которая была пробурена в нас, заключалась в том, что что позволило рассчитать дисперсию путем нахождения суммы квадратов отклонений от любой удобной точки а затем с учетом поправки. Здесь, конечно, это тождество дает простое доказательство того, что имеет минимальное значение при без необходимости производных и т. Д.

E [(X - t)^{2}] = E [((X - μ) - (t - μ))^{2}] = E [(X - μ)^{2}] + (t - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

Dilip Sarwate

18

Пусть - распределение на . Покажем , что если дисперсия максимальна, то не может иметь не поддерживает в салоне, откуда следует , что является Бернулли , а остальное тривиально. $F$ $[0,1]$ $F$ $F$ $F$

В качестве примечания, пусть будет й необработанный момент (и, как обычно, мы пишем и для дисперсии). $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

Мы знаем, что не имеет всей своей поддержки в одной точке ( в этом случае дисперсия минимальна ). Среди прочего это означает, что лежит строго между и . Чтобы рассуждать от противного, предположим, что во внутреннем пространстве имеется некоторое измеримое подмножество для которого . Без потери общности мы можем предположить (изменяя на если это необходимо), что : другими словами, получается путем обрезания любого часть выше среднего и $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ имеет положительную вероятность.

Давайте изменим на , взяв всю вероятность из и поместив ее в . $F$ $F'$ $J$ $0$ При этом меняется на $\mu_k$

μ_{К}^{'} знак равно μ_{К} - \int_{J} {Икс}^{К} d F (Икс),

$\mu'_k = \mu_k - \int_J x^k dF(x).$

Для обозначения, давайте напишем для таких интегралов, откуда $[g(x)] = \int_J g(x) dF(x)$

μ_{2}^{'} знак равно μ_{2} - [{Икс}^{2}], μ^{'} знак равно μ - [Икс],

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

Рассчитать

σ^{' 2} = μ_{2}^{'} - μ^{' 2} = μ_{2} - [x^{2}] - (μ - [x])^{2} = σ^{2} + ((μ [x] - [x^{2}]) + (μ [x] - [x]^{2})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

Второй член в правой части , , не является отрицательным , потому что всюду на . Первый член справа можно переписать $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [x] - [x^{2}] = μ (1 - [1]) + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

Первое слагаемое справа строго положительно, потому что (a) и (b) потому что мы предполагали, что не сконцентрировано в точке. Второе слагаемое неотрицательно, потому что его можно переписать как и это подынтегральное выражение неотрицательно из предположений на и . Отсюда следует, что . $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

Мы только что показали, что в наших предположениях изменение на строго увеличивает его дисперсию. Единственный способ, которым это не может произойти, - это когда вся вероятность сконцентрирована в конечных точках и с (скажем) значениями и соответственно. Его дисперсия легко вычисляется равной которая максимальна, когда и равна там. $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

Теперь, когда - это распределение на , мы перенастраиваем его и масштабируем до распределения на . Повторное центрирование не изменяет дисперсию, тогда как масштабирование делит ее на . Таким образом, с максимальной дисперсией на соответствует распределению с максимальной дисперсией на : следовательно, это распределение Бернулли масштабированное и переведенное в имеющее дисперсию 2/4 , QED . $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

Whuber
источник

Интересно, whuber. Я не знал этого доказательства.

Дзен

6

@Zen Это ни в коем случае не так элегантно, как у тебя. Я предложил это, потому что на протяжении многих лет я так думал, сталкиваясь с гораздо более сложными неравенствами в распределении: я спрашиваю, как можно сместить вероятность, чтобы сделать неравенство более экстремальным. Как интуитивный эвристик это полезно. Используя подходы, подобные изложенному здесь, я подозреваю, что общая теория для доказательства большого класса таких неравенств может быть получена с неким гибридным вкусом вариационного исчисления и (конечномерных) методов множителей Лагранжа.

whuber

Отлично: ваш ответ важен, потому что он описывает более общую технику, которая может использоваться для решения многих других случаев.

Дзен

@whuber сказал: «Я спрашиваю, как можно изменить вероятность, чтобы сделать неравенство более экстремальным». - это, кажется, естественный способ думать о таких проблемах.

Glen_b

Кажется, в выводе есть несколько ошибок. Это должно бытьКроме того, не равно поскольку не совпадает с

μ [Икс] - [{Икс}^{2}] знак равно μ (1 - [1]) [Икс] + ([μ] [Икс] - [{Икс}^{2}]),

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

Лео

13

Если случайная величина ограничена и мы знаем среднее значение , дисперсия ограничена . $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

Рассмотрим сначала случай . Отметим, что для всех , , поэтому также . Используя этот результат, $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = E [X^{2}] - (E [X]^{2}) = E [X^{2}] - μ^{2} \leq μ - μ^{2} = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

Чтобы обобщить интервалы с , рассмотрим ограниченный . Определите , который ограничен в . Эквивалентно, , и, таким образом, где неравенство основано на первом результате. Теперь, подставив , граница равна которое является желаемым результатом. $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

В a р [Y] знак равно (б - a)^{2} В a р [Икс] \leq (б - a)^{2} μ_{Икс} (1 - μ_{Икс}),

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(б - a)^{2} \frac{μ_{Y} - a}{б - a} (1 - \frac{μ_{Y} - a}{б - a}) знак равно (б - a)^{2} \frac{μ_{Y} - a}{б - a} \frac{б - μ_{Y}}{б - a} знак равно (μ_{Y} - a) (б - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

Юхо Коккала
источник

8

По запросу @ user603 ....

$\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

Еще один момент, о котором следует помнить: ограниченная случайная величина имеет конечную дисперсию, тогда как для неограниченной случайной величины эта дисперсия может быть не конечной, а в некоторых случаях может даже не быть определяемой. Например, среднее не может быть определено для случайных величин Коши , и поэтому невозможно определить дисперсию (как ожидание квадрата отклонения от среднего).

Дилип Сарватэ
источник

это особый случай ответа @ Джухо

Аксакал

Это был просто комментарий, но я также могу добавить, что этот ответ не отвечает на заданный вопрос.

Аксакал

@Aksakal Так ??? Юхо отвечал на немного другой и совсем недавно заданный вопрос. Этот новый вопрос был объединен с тем, который вы видите выше, на который я ответил десять месяцев назад.

Дилип Сарвате,

0

$[a,b]$

В a р (Икс) знак равно Е [(Икс - Е [Икс])^{2}] \leq Е [(б - a)^{2}] знак равно (б - a)^{2},

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

Эта статья выглядит лучше, чем статья в Википедии ...

В a р (Икс) знак равно \frac{(б - a)^{2}}{12},

$Var(X) = \frac{(b-a)^2}{12}.$

Ric
источник

На этой странице приводятся результаты с началом доказательства, которое для меня становится слишком сложным, так как кажется, что требуется понимание «Фундаментальной теоремы линейного программирования». sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

Адам Рассел

Спасибо за то, что поставили имя этому! «Неравенство Поповичу» как раз то, что мне нужно.

Адам Рассел

2

1 / 4

$1/4$

2

Непрерывное распределение может приближаться к дискретному (в терминах cdf) сколь угодно близко (например, построить непрерывную плотность из данного дискретного, поместив небольшое ядро в форме бета (4,4) в центре в каждой точке массы - соответствующей области) и пусть стандартное отклонение каждого такого ядра уменьшается до нуля, сохраняя его площадь постоянной). Таким образом, такие дискретные оценки, которые обсуждаются здесь, будут также действовать как границы непрерывных распределений. Я ожидаю, что вы думаете о непрерывных унимодальных распределениях ... которые действительно имеют разные верхние границы.

Glen_b

2

Ну ... мой ответ был наименее полезным, но я бы оставил его здесь из-за хороших комментариев. Приветствия, R

Рик

Дисперсия ограниченной случайной величины

Ответы: