Расчет необходимого размера выборки, точность оценки отклонений?

Фон

У меня есть переменная с неизвестным распределением.

У меня есть 500 выборок, но я хотел бы продемонстрировать точность, с которой я могу вычислить дисперсию, например, доказать, что размер выборки 500 достаточен. Мне также интересно знать минимальный размер выборки, который потребуется для оценки дисперсии с точностью до .$X\%$

Вопросов

Как я могу рассчитать

1. точность моей оценки дисперсии с учетом размера выборки ? из ?$n=500$$n=N$
2. Как я могу рассчитать минимальное количество выборок, необходимое для оценки дисперсии с точностью до ?$X$

пример

Рисунок 1 Оценка плотности параметра на основе 500 образцов.

Рисунок 2 Вот график размера выборки на оси x в сравнении с оценками дисперсии на оси y, которые я рассчитал с использованием подвыборок из выборки 500. Идея состоит в том, что оценки будут сходиться к истинной дисперсии при увеличении n ,

Однако оценки не являются действительными независимыми, поскольку выборки, используемые для оценки дисперсии для , не являются независимыми друг от друга или от выборок, используемых для вычисления дисперсии приn ∈ [ 20 , 40 , 80 $n \in [10,125,250,500]$$n\in [20,40,80]$

Для случайных величин несмещенная оценка для дисперсии (той, которая имеет знаменатель ) имеет дисперсию:s 2 n - $X_1, \dotsc, X_n$$s^2$$n-1$

$$\mathrm{Var}(s^2) = \sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right)$$

где - избыточный эксцесс распределения (ссылка: Википедия ). Так что теперь вам нужно оценить и эксцесс вашего распределения. Вы можете использовать количество, иногда описываемое как (также из Википедии ):γ $\kappa$$\gamma_2$

$$\gamma_2 = \frac{\mu_4}{\sigma_4} - 3$$

Я бы предположил, что если вы используете в качестве оценки для и в качестве оценки для , то вы получите разумную оценку для , хотя я не вижу гарантии что это беспристрастно. Посмотрите, совпадает ли это с разницей между подмножествами ваших 500 точек данных, и не беспокоится ли это больше :)σ γ 2 κ V a r ( s 2$s$$\sigma$$\gamma_2$$\kappa$$\mathrm{Var}(s^2)$

Изучать дисперсию сложно.

Во многих случаях требуется (возможно удивительно) большое количество выборок, чтобы хорошо оценить дисперсию. Ниже я покажу разработку для «канонического» случая нормального образца iid.

Предположим, что , являются независимыми случайными величинами. Мы ищем доверительный интервал для дисперсии, такой, что ширина интервала равна , т.е. ширина равна от точечной оценки. Например, если , то ширина CI равна половине значения точечной оценки, например, если , тогда CI будет что-то вроде , с шириной 5. Обратите внимание на асимметрию вокруг точечной оценки. ( - объективная оценка дисперсии.) я = 1 , ... , п N ( μ , сг 2 ) 100 ( 1 - & alpha ; ) % ρ s 2 100 ρ % ρ = 1 / 2 с 2 = 10 ( 8 $Y_i$$i=1,\ldots,n$$\mathcal{N}(\mu, \sigma^2)$$100(1-\alpha)\%$$\rho s^2$$100\rho \%$$\rho = 1/2$$s^2 = 10$с $(8,\,13)$$s^2$

«(Скорее,« а ») доверительный интервал для равен где - это квантиль распределения хи-квадрат с степенями свободы. (Это вытекает из того факта, что является основной величиной в гауссовой установке.)( n - 1 ) s $s^2$х

$$\frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \leq \sigma^2 \leq \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} \>,$$ βn-1(n-1)s2/σ$\chi_{(n-1)}^{2\;\beta}$$\beta$$n-1$$(n-1)s^2/\sigma^2$

Мы хотим минимизировать ширину, чтобы поэтому нам осталось решить для , чтобы n ( n - 1 ) (

$$L(n) = \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} < \rho s^2 \>,$$ $n$ $$(n-1) \left(\frac{1}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{1}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \right) < \rho .$$

Для случая доверительного интервала 99% мы получаем для и для . Этот последний случай дает интервал, который ( все еще! ) На 10% больше, чем точечная оценка дисперсии.$n = 65$$\rho = 1$$n = 5321$$\rho = 0.1$

Если выбранный вами уровень достоверности составляет менее 99%, то такой же интервал ширины будет получен для меньшего значения . Но может все еще быть больше, чем вы могли бы предположить.$n$$n$

Участок образца размером по сравнению с пропорциональной шириной шоу что - то , что выглядит асимптотически линейные на логарифмическом масштабе; другими словами, отношения, подобные степенному закону. Мы можем оценить силу этих степенных отношений (грубо) как$n$$\rho$

$$\hat{\alpha} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{-\log 10}{\log \frac{5231}{65}} \approx -0.525 ,$$

что, к сожалению, решительно медленно!

---

Это своего рода «канонический» случай, чтобы дать вам представление о том, как проводить вычисления. Исходя из ваших графиков, ваши данные не выглядят особенно нормальными; в частности, есть то, что кажется заметным перекосом.

Но это должно дать вам примерное представление о том, чего ожидать. Обратите внимание, что для ответа на ваш второй вопрос, приведенный выше, необходимо сначала установить некоторый уровень доверия, который я установил на уровне 99% в приведенной выше разработке для демонстрационных целей.

Я бы сфокусировался на SD, а не на дисперсии, так как она находится в масштабе, который легче интерпретировать.

Люди иногда смотрят на доверительные интервалы для SD или отклонений, но в основном внимание уделяется средствам.

Результаты, которые вы даете для распределения можно использовать для получения доверительного интервала для (и так же ); большинство вводных текстов по математике и статистике содержат подробности в том же разделе, в котором упоминалось упоминание . Я бы просто взял 2,5% с каждого хвоста.$s^2/\sigma^2$$\sigma^2$$\sigma$$\sigma^2$

Следующее решение было дано Гринвудом и Сандомиром в статье JASA 1950 года.

Пусть - случайная выборка из распределения N ( μ , σ 2 ) . Сделайте выводы о σ, используя в качестве ( смещенной ) оценки стандартное отклонение выборки S = $X_1,\dots,X_n$$\mathrm{N}(\mu,\sigma^2)$$\sigma$

$$S=\sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{n-1}},$$ $S$$\sigma$$0<u<1$ $$\Pr\{S<(1-u)\cdot\sigma\}=a \quad\text{and}\quad \Pr\{S>(1+u)\cdot\sigma\}=b,$$ $\gamma=1-a-b$

$$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} < (n-1)(1-u)^2\right\} = a$$ $$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} > (n-1)(1+u)^2\right\} = b.$$ $(n-1)S^2/\sigma^2$$\chi^2_{n-1}$

$$\gamma = F_{\chi^2_{(n-1)}}((n-1)(1+u)^2) - F_{\chi^2_{(n-1)}}((n-1)(1-u)^2),$$

$n$$\gamma$$u$

R код.

gamma <- 0.95
u <- 0.1
g <- function(n) pchisq((n-1)*(1+u)^2, df = n-1) - pchisq((n-1)*(1-u)^2, df = n-1) - gamma
cat("Sample size n = ", ceiling(uniroot(g, interval = c(2, 10^6))$root), "\n")

$u=10\%$$\gamma=95\%$

Sample size n = 193