Для каких распределений существует объективная оценка в закрытой форме для стандартного отклонения?

Для нормального распределения существует объективная оценка стандартного отклонения, определяемая как:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

Причина, по которой этот результат не так хорошо известен, по-видимому, состоит в том, что это в значительной степени курьез, а не вопрос какого-либо большого значения . Доказательство покрыто на этой теме ; он использует ключевое свойство нормального распределения:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

Оттуда, немного поработав, можно принять ожидание , апутем выявления этого ответа как кратное, мы можем вывести результат для. $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ $\sigma$ $\hat{\sigma}_\text{unbiased}$

Это оставляет меня любопытным, какие другие распределения имеют непредвзятую оценку стандартного отклонения в закрытой форме. В отличие от объективной оценки дисперсии, это явно зависит от распределения. Более того, было бы непросто адаптировать доказательство, чтобы найти оценки для других распределений.

Распределения с нормальным перекосом обладают некоторыми хорошими свойствами распределения для своих квадратичных форм, которые мы обычно используем в качестве свойства нормального распределения (так как нормаль - это особый тип косо-нормального распределения), так что, возможно, это будет не так сложно распространить этот метод на них. Но для других распределений может показаться, что требуется совершенно другой подход.

Существуют ли другие распределения, для которых известны такие оценки?

mathematical-statistics standard-deviation unbiased-estimator тарпон
источник

Если игнорировать технические отвлекающие факторы, характер ответа становится более понятным. В нормальном случае мало того, что вы пишете, действительно имеет отношение к заключению; все, что имеет значение, состоит в том, что величина смещения в этом конкретном оценщике является функцией только

(и не зависит от других параметров распределения, которые должны быть оценены из данных).

n

$n$

whuber

@whuber Я думаю, что вижу общую идею, на которую вы намекаете, и ясно, что «функция одного только

» необходима. Но я не думаю, что этого было бы достаточно - если бы у нас не было доступа к каким-то хорошим результатам распространения, тогда я не могу понять, как аспект «закрытой формы» можно было бы отслеживать.

n

$n$

Серебряная рыба

Это зависит от того, что вы подразумеваете под «закрытой формой». Например, для одного человека тэта-функция может быть «закрытой», но для другого это просто бесконечный продукт, степенной ряд или сложный интеграл. Если подумать, это именно то, что такое гамма-функция :-).

whuber

@whuber Хорошая мысль! Под «величиной смещения в данном конкретном оценщике» я понимаю, что вы имеете в виду, что смещение в

(а не в оценке, приведенной в вопросе, которая имеет нулевое смещение) является функцией

(а также в

, но, к счастью, таким образом, что мы можем легко изменить, чтобы найти объективную оценку)?

s

$s$

n

$n$

σ

$\sigma$

Серебряная рыба

@whuber: должна быть похожая формула для любого семейства масштабов с указанием того, что функция

может быть неразрешимым интегралом.

n

$n$

Сиань

Ответы:

Хотя это напрямую не связано с вопросом, существует статья Питера Биккеля и Эриха Лемана 1968 года, в которой говорится, что для выпуклого семейства распределений существует несмещенная оценка функционала (для размера выборки). достаточно большой) тогда и только тогда, когда является полиномом от $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ , Эта теорема здесь не применима к задаче, поскольку набор гауссовых распределений не является выпуклым (смесь гауссианов не является гауссовой).

Расширение результата в вопросе заключается в том, что любая степень стандартного отклонения может быть объективно оценена при условии, что имеется достаточно наблюдений, когда . Это следует из результата $\sigma^\alpha$ $\alpha<0$ чтоявляется масштабным (и уникальным) параметром для.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Эту нормальную настройку затем можно распространить на любое семейство масштабов местоположения с конечной дисперсией . В самом деле,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

the variance ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ is only a function of $\tau$ ;
the sum of squares $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ has an expectation of the form $\tau^2\psi(n)$ ;
and similarly for any power $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$ such that the expectation is finite.

Xi'an
источник

A probably well known case, but a case nevertheless.
Consider a continuous uniform distribution $U(0,\theta)$ . Given an i.i.d. sample, the maximum order statistic, $X_{(n)}$ has expected value

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

The standard deviation of the distribution is

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

So the estimator

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

is evidently unbiased for $\sigma$ .

This generalizes to the case where the lower bound of the distribution is also unknown, since we can have an unbiased estimator for the Range, and then the standard deviation is again a linear function of the Range (as is essentially above also).

This exemplifies @whuber's comment, that "the amount of bias is a function of $n$ alone" (plus possibly any known constants) -so it can be deterministically corrected. And this is the case here.

Alecos Papadopoulos
источник

Now the hard part: when in the world are we interested in the standard deviation of a uniform distribution? (+1)

shadowtalker

@ssdecontrol That's an excellent question! -please proceed to the next one...

Alecos Papadopoulos

One thing I love about this answer is how poor the estimator is. It's quite common to see a question which boils down to "why do we use

\hat{θ}

$\hat{\theta}$ as an estimator even though it's biased?" Some students need convincing that unbiasedness is not the be-all and end-all, and a poor unbiased estimator is one way to show them.

Silverfish

@Silverfish Poor in what way? Some quick simulations show this to have lower MSE than the usual standard deviation (which surprised me).

Dave

@Dave Interesting! I had jumped to the conclusion it would be poor since it only looked at the maximum order statistic, but I too stand surprised! Shows the value of doing some simulation...

Silverfish