Пример распределения, где большой размер выборки необходим для центральной предельной теоремы

19

Некоторые книги утверждают , образец размер размер 30 или выше , необходимо для центральной предельной теоремы , чтобы дать хорошее приближение для X¯ .

Я знаю, что этого недостаточно для всех дистрибутивов.

Я хотел бы увидеть некоторые примеры распределений, где даже при большом размере выборки (возможно, 100 или 1000 или выше) распределение среднего значения выборки все еще довольно искажено.

Я знаю, что видел такие примеры раньше, но не могу вспомнить, где и не могу их найти.

Graphth
источник
5
Рассмотрим гамма-распределение с параметром формы . Возьмите шкалу как 1 (это не имеет значения). Допустим, вы считаете Gamma ( α 0 , 1 ) , как только «достаточно нормальное». Тогда распределение , для которого необходимо получить 1000 наблюдений , чтобы быть достаточно нормальным имеет Gamma ( α 0 / 1000 , 1 ) распределение. αGamma(α0,1)Gamma(α0/1000,1)
Glen_b
1
@Glen_b, почему бы не сделать это официальным ответом и немного его развить?
gung - Восстановить Монику
4
Любой достаточно загрязненный дистрибутив будет работать так же, как пример @ Glen_b. Например , когда базовое распределение представляет собой смесь нормалей (0,1) и нормалей (огромных значений, 1), причем последняя имеет лишь малую вероятность появления, тогда происходят интересные вещи: (1) большую часть времени загрязнение не появляется и нет признаков асимметрии; но (2) иногда появляется загрязнение и асимметрия в образце огромна. Распределение выборочного среднего значения будет сильно искажено независимо, но при начальной загрузке ( например ) его обычно не обнаруживают.
whuber
1
Пример @ whuber поучителен, показывая, что теоретическая центральная предельная теорема может быть произвольно вводящей в заблуждение. В практических экспериментах я полагаю, что нужно спросить себя, может ли быть какой-то огромный эффект, который происходит очень редко, и применить теоретический результат с небольшой осмотрительностью.
Дэвид Эпштейн

Ответы:

19

Некоторые книги утверждают , образец размер размер 30 или выше , необходимо для центральной предельной теоремы , чтобы дать хорошее приближение для .X¯

Это общее правило практически бесполезно. Существуют ненормальные распределения, для которых n = 2 подойдет, и ненормальные распределения, для которых гораздо больший недостаточен - поэтому без явного ограничения обстоятельств правило вводит в заблуждение. В любом случае, даже если бы это было правдой, требуемое n будет варьироваться в зависимости от того, что вы делаете. Часто вы получаете хорошие аппроксимации вблизи центра распределения при малых n , но для получения достойного приближения в хвосте нужно гораздо большее n .nnnn

Изменить: см. Ответы на этот вопрос для многочисленных, но, по-видимому, единодушных мнений по этому вопросу, а также некоторые хорошие ссылки. Я не буду обдумывать этот вопрос, поскольку вы уже четко это понимаете.

Я хочу увидеть некоторые примеры распределений, где даже при большом размере выборки (возможно, 100 или 1000 или выше) распределение среднего значения выборки все еще довольно искажено.

Примеры относительно легко построить; Один простой способ - найти ненормальное делимое на бесконечность распределение и разделить его на части. Если у вас есть тот, который будет приближаться к нормальному, когда вы будете усреднять или суммировать его, начните с границы «близко к нормальному» и делите ее столько, сколько хотите. Так, например:

Рассмотрим гамма-распределение с параметром формы . Возьмите масштаб как 1 (масштаб не имеет значения). Допустим, вы считаете гамму ( α 0 , 1 ) просто «достаточно нормальной». Тогда распределение , для которого необходимо получить 1000 наблюдений , чтобы быть достаточно нормальным имеет Gamma ( α 0 / 1000 , 1 ) распределение.αGamma(α0,1)Gamma(α0/1000,1)

Так что, если вы чувствуете, что гамма с является просто «достаточно нормальной» -α=20

Гамма (20) pdf

Затем разделите на 1000, чтобы получить α = 0,02 :α=20α=0.02

Gamma(0.02) pdf

В среднем 1000 из них будут иметь форму первого pdf (но не его масштаб).

σ/n

точка зрения @ whuber о загрязненных дистрибутивах очень хорошая; возможно, стоит попробовать какую-то симуляцию с этим случаем и посмотреть, как обстоят дела со многими такими образцами.

Glen_b - Восстановить Монику
источник
12

σσtχ2ttn=30s2X¯

Фрэнк Харрелл
источник
2
s2
9

Вы можете найти этот документ полезным (или хотя бы интересным):

http://www.umass.edu/remp/Papers/Smith&Wells_NERA06.pdf

Исследователи из UMass фактически провели исследование, подобное тому, что вы просите. При каком размере выборки определенные распределенные данные соответствуют нормальному распределению из-за CLT? По-видимому, многие данные, собранные для психологических экспериментов, не распределены нормально, поэтому дисциплина в значительной степени полагается на CLT, чтобы сделать какие-либо выводы по их статистике.

α=0.05

Table 2. Percentage of replications that departed normality based on the KS-test. 
 Sample Size 
           5   10   15   20   25  30 
Normal   100   95   70   65   60  35 
Uniform  100  100  100  100  100  95 
Bimodal  100  100  100   75   85  50

Как ни странно, 65 процентов нормально распределенных данных были отклонены с размером выборки 20, и даже с размером выборки 30, 35% все еще были отклонены.

Затем они протестировали несколько сильно искаженных дистрибутивов, созданных с использованием метода мощности Флейшмана:

Y=aX+bX2+cX3+dX4

X представляет значение, полученное из нормального распределения, в то время как a, b, c и d являются константами (обратите внимание, что a = -c).

Они провели испытания с размерами выборки до 300

Skew  Kurt   A      B      C       D 
1.75  3.75  -0.399  0.930  0.399  -0.036 
1.50  3.75  -0.221  0.866  0.221   0.027 
1.25  3.75  -0.161  0.819  0.161   0.049 
1.00  3.75  -0.119  0.789  0.119   0.062 

Они обнаружили, что при самых высоких уровнях перекоса и курта (1,75 и 3,75), что размеры выборки 300 не дают средств выборки, которые следуют нормальному распределению.

К сожалению, я не думаю, что это именно то, что вы ищете, но я наткнулся на это и нашел это интересным, и подумал, что вы тоже можете.

Эрик Петерсон
источник
4
« Как ни странно, 65 процентов нормально распределенных данных были отклонены с размером выборки 20, а даже с размером выборки 30, 35% все равно были отклонены». - тогда звучит так, будто они используют тест неправильно; в качестве теста нормальности на полностью определенных нормальных данных (для этого и нужен тест), если они используют его правильно, он должен быть точным .
Glen_b
5
@Glen_b: здесь есть несколько источников потенциальных ошибок. Если вы прочитаете документ, вы заметите, что то, что здесь указано как «нормальное», на самом деле является нормальным случайным изменением со средним значением 50 и стандартным отклонением 10, округленным до ближайшего целого числа . Таким образом, в этом смысле используемый тест уже использует неправильно заданный дистрибутив. Во-вторых, все еще кажется, что они выполнили тесты неправильно, поскольку мои попытки репликации показывают, что для выборки в среднем с использованием 20 таких наблюдений вероятность отклонения составляет около 27%. (продолжение)
кардинал
5
(продолжение) В-третьих, независимо от вышеизложенного, некоторые программы могут использовать асимптотическое распределение, а не фактическое, хотя при размерах выборки 10 КБ это не должно иметь большого значения (если связи не были искусственно созданы на данных). Наконец, мы видим следующее довольно странное утверждение в конце этого документа: К сожалению, свойства KS-теста в S-PLUS ограничивают работу. Все значения р для настоящего исследования были скомпилированы вручную для многократных повторений. Программа необходима для расчета p-значений и вынесения суждений о них по сравнению с выбранным альфа-уровнем.
кардинал
3
Привет @Glen_b. Я не верю, что округление снизит коэффициент отклонения, потому что я считаю, что они проверяли истинное стандартное нормальное распределение, используя округленные данные (что я и имел в виду, говоря, что в тесте использовалось неправильно заданное распределение). (Возможно, вы вместо этого думали об использовании теста KS для дискретного распределения.) Размер выборки для теста KS был 10000, а не 20; они сделали 20 повторений с размером выборки 10000 каждая, чтобы получить таблицу. По крайней мере, так я понимал описание, просматривая документ.
кардинал
3
@cardinal - конечно, вы правы, так что, возможно, это может стать источником значительного количества отказов при больших размерах выборки. Re: « Размер выборки для теста KS был 10000, а не 20 » ... хорошо, это звучит все более странно. Остается задаться вопросом, почему они думают, что любое из этих условий имеет большую ценность, а не наоборот.
Glen_b