Чтобы понять это, вам необходимо сначала указать версию Центральной предельной теоремы. Вот «типичное» утверждение центральной предельной теоремы:
Линдеберг-Леви CLT. Предположим, что является последовательностью случайных величин iid с и . Пусть . Тогда, когда
приближается к бесконечности, случайные величины сходятся по распределению к нормальному т.е.X1,X2,…E[Xi]=μVar[Xi]=σ2<∞Sn:=X1+⋯+Xnnnn−−√(Sn−μ)N(0,σ2)
n−−√((1n∑i=1nXi)−μ) →d N(0,σ2).
Итак, как это отличается от неформального описания, и каковы пробелы? Есть несколько различий между вашим неофициальным описанием и этим описанием, некоторые из которых были обсуждены в других ответах, но не полностью. Итак, мы можем превратить это в три конкретных вопроса:
- Что происходит, если переменные не распределены одинаково?
- Что если переменные имеют бесконечную дисперсию или бесконечное среднее?
- Насколько важна независимость?
Принимая эти по одному,
Распределение неравномерно . Лучшими общими результатами являются версии центральной предельной теоремы Линдеберга и Ляпонова. В принципе, пока стандартные отклонения не растут слишком сильно, из них можно получить приличную центральную предельную теорему.
Ляпуновский CLT. [5] Предположим, что является последовательностью независимых случайных величин, каждая из которых имеет конечное ожидаемое значение и дисперсию
Определите:μ i σ 2 s 2 n = ∑ n i = 1 σ 2 iX1,X2,…μiσ2s2N= ∑Nя = 1σ2я
Если для некоторого , условие Ляпунова
, тогда сумма сходится по распределению к стандартной нормальной случайной переменной, а n стремится к бесконечности:lim n → ∞ 1δ> 0Xi-μi/snИтn → ∞1s2 + δNΣя = 1NЕ[ | Икся- μя|2 + δ] =0Икся- μя/ сN
1sNΣNя = 1( Xя- μя) → d N( 0 , 1 ) .
Теоремы о бесконечной дисперсии, подобные центральной предельной теореме, существуют для переменных с бесконечной дисперсией, но условия значительно более узкие, чем для обычной центральной предельной теоремы. По существу, хвост распределения вероятностей должен быть асимптотическим относительно для . В этом случае соответствующие масштабированные слагаемые сходятся к устойчивому распределению Леви-Альфа . 0 < α < 2| х |- α - 10 < α < 2
Важность независимости Существует много различных центральных предельных теорем для не независимых последовательностей . Все они очень контекстуальные. Как указывает Бэтмен, есть один для Мартингейла. Этот вопрос является постоянной областью исследований, со многими, многими различными вариациями в зависимости от конкретного контекста интереса. Этот вопрос на Math Exchange является еще одним постом, связанным с этим вопросом.Икся
Хотя я почти уверен, что на него уже отвечали, вот еще один:
Существует несколько версий центральной предельной теоремы, наиболее общая из которых заключается в том, что с учетом произвольных функций плотности вероятности сумма переменных будет распределяться нормально со средним значением, равным сумме средних значений, а также с дисперсией, являющейся суммой отдельных отклонений.
Очень важным и значимым ограничением является то, что среднее значение и дисперсия данных PDF должны существовать и должны быть конечными.
Итак, просто возьмите любой pdf без среднего значения или дисперсии - и центральная предельная теорема больше не будет выполняться. Возьмем, к примеру, лоренцеву распределение.
источник
Нет, CLT всегда держится, когда его предположения верны. Такие квалификации, как «в большинстве ситуаций», являются неофициальными ссылками на условия, при которых следует применять CLT.
Например, линейная комбинация независимых переменных из распределения Коши не будет складываться в нормальную распределенную переменную . Одна из причин состоит в том, что дисперсия не определена для распределения Коши , в то время как CLT накладывает на дисперсию определенные условия, например, что она должна быть конечной. Интересным выводом является то, что, поскольку симуляции Монте-Карло мотивированы CLT, вы должны быть осторожны с симуляциями Монте-Карло при работе с распределениями с жирным хвостом, такими как Коши.
Обратите внимание, что существует обобщенная версия CLT. Это работает для бесконечных или неопределенных отклонений, таких как распределение Коши. В отличие от многих хорошо распределенных распределений, правильно нормированная сумма чисел Коши остается Коши. Он не сходится к гауссовскому.
Кстати, не только гауссовские, но и многие другие дистрибутивы имеют PDF в форме колокольчиков, например Student t. Вот почему приведенное вами описание довольно либерально и неточно, возможно, нарочно.
источник
Вот иллюстрация ответа херувима, гистограмма 1e5 взята из масштабированных (по ) выборочных средних t-распределений с двумя степенями свободы, так что дисперсия не существует .N--√
Если CLT действительно применяется, гистограмма для равного должна напоминать плотность стандартного нормального распределения (которое, например, имеет плотность на своем пике), что, очевидно, нет.n = 1000 1 / √N n = 1000 1 / 2 π--√≈ 0,4
источник
sd(x)
чтобы получить что-то, что, если CLT работает, сходится по теореме Слуцкого к N (0,1) вариации. Я хотел сохранить простой пример, но вы, конечно, правы.Простой случай, когда CLT не может выполняться по очень практическим причинам, - это когда последовательность случайных величин приближается к пределу вероятности строго с одной стороны . Это встречается, например, в оценках, которые оценивают что-то, лежащее на границе.
Возможно, стандартным примером здесь является оценка в образце iid Uniforms . Оценщик максимального правдоподобия будет статистикой максимального порядка, и он будет приближаться к обязательно только снизу: наивно мысля, поскольку предел его вероятности будет , оценщик не может иметь распределение "вокруг" - и CLT ушел.U ( 0 , θ ) θ θ θθ U( 0 , θ ) θ θ θ
Оценщик, должным образом масштабированный, имеет ограничивающее распределение - но не "CLT-разновидность"
источник
Вы можете найти быстрое решение здесь.
Возникают исключения из теоремы о центральном пределе
Есть некоторые другие исключения, которые изложены в ответе @cherub.
Тот же вопрос уже задавался на math.stackexchange . Вы можете проверить ответы там.
источник