Я новичок в статистике, так что вы, ребята, не могли бы вы мне помочь?
Мой вопрос заключается в следующем: что на самом деле означает объединенная дисперсия ?
Когда я ищу формулу для объединенной дисперсии в Интернете, я нахожу много литературы, использующей следующую формулу (например, здесь: http://math.tntech.edu/ISR/Maturgical_Statistics/Introduction_to_Statistical_Tests/thispage/newnode19.html ):
Но что это на самом деле рассчитывает? Потому что, когда я использую эту формулу для вычисления моей объединенной дисперсии, это дает мне неправильный ответ.
Например, рассмотрим эти «родительские образцы»:
Дисперсия этой родительской выборки равна , а ее среднее значение равно .
Теперь предположим, что я разбил этот родительский образец на два подэлемента:
- Первый суб-образец 2,2,2,2,2 со средним и дисперсия .
- Второй подвыбор составляет 8,8,8,8,8 со средним значением и дисперсией S 2 2 = 0 .
Теперь ясно, что с помощью приведенной выше формулы для вычисления дисперсии пула / родителя этих двух подвыборок будет получено ноль, поскольку и S 2 = 0 . Так что же на самом деле рассчитывает эта формула ?
С другой стороны, после некоторого длительного вывода я нашел формулу, которая дает правильную дисперсию пула / родителя:
В приведенной выше формуле, и д 2 = ¯ х 2 - ˉ х р .
Я нашел похожую формулу с моей, например, здесь: http://www.emathzone.com/tutorials/basic-statistics/combined-variance.html, а также в Википедии. Хотя я должен признать, что они не похожи на мои.
Итак, еще раз, что на самом деле означает объединенная дисперсия? Разве это не должно означать отклонение родительской выборки от двух подвыборок? Или я тут совершенно не прав?
Заранее спасибо.
РЕДАКТИРОВАТЬ 1: Кто-то говорит, что мои два подвыборки выше патологические, так как они имеют нулевую дисперсию. Ну, я мог бы привести другой пример. Рассмотрим этот родительский образец:
Дисперсия этой родительской выборки составляет , а ее среднее значение равно ˉ x p = 25,5 .
Теперь предположим, что я разбил этот родительский образец на два подэлемента:
- Первый подвыбор составляет 1,2,3,4,5 со средним значением и дисперсией S 2 1 = 2,5 .
- Второй суб-образец 46,47,48,49,50 со средним и дисперсия S 2 2 = 2,5 .
Теперь, если вы используете «формулу литературы» для вычисления объединенной дисперсии, вы получите 2,5, что совершенно неверно, потому что родительская / объединенная дисперсия должна быть 564,7. Вместо этого, если вы используете «мою формулу», вы получите правильный ответ.
Пожалуйста, поймите, я использую здесь крайние примеры, чтобы показать людям, что формула действительно неверна. Если я использую «нормальные данные», которые не имеют большого количества вариаций (крайних случаев), то результаты этих двух формул будут очень похожи, и люди могут отклонить разницу из-за ошибки округления, а не потому, что сама формула неправильно.
Ответы:
Проще говоря, объединенная дисперсия является (несмещенной) оценкой дисперсии в каждой выборке при условии / ограничении, что эти дисперсии равны.
Это объяснено, мотивировано и проанализировано более подробно в статье в Википедии для объединенной дисперсии .
Он не оценивает дисперсию нового «мета-сэмпла», сформированного путем объединения двух отдельных сэмплов, как вы и предполагали. Как вы уже обнаружили, оценка этого требует совершенно другой формулы.
источник
Объединенная дисперсия используется для объединения дисперсий из разных выборок путем взятия их средневзвешенного значения, чтобы получить «общую» дисперсию. Проблема с вашим примером состоит в том, что это патологический случай, так как каждый из подвыборок имеет дисперсию, равную нулю. Такой патологический случай имеет очень мало общего с данными, с которыми мы обычно сталкиваемся, так как всегда есть некоторая изменчивость, и если нет никакой изменчивости, мы не заботимся о таких переменных, так как они не несут информации. Следует заметить, что это очень простой метод, и существуют более сложные способы оценки отклонений в иерархических структурах данных, которые не подвержены таким проблемам.
Что касается вашего примера в редактировании, он показывает, что важно четко изложить свои предположения перед началом анализа. Допустим, у вас есть точек данных в k группах, мы будем обозначать их как x 1 , 1 , x 2 , 1 , … , x n - 1 , k , x n , k , где i-й индекс в x i , j обозначает случаи и jn k x1,1,x2,1,…,xn−1,k,xn,k i xi,j j -й индекс обозначает групповые индексы. Возможны несколько сценариев, вы можете предположить, что все точки происходят из одного и того же распределения (для простоты, давайте предположим, нормальное распределение),
Вы можете предположить, что каждый из подвыборок имеет свое среднее значение.
или, его собственная разница
или каждый из них имеет свои собственные, отличные параметры
В зависимости от ваших предположений, конкретный метод может или не может быть адекватным для анализа данных.
В первом случае вам не будет интересно оценивать внутригрупповые отклонения, поскольку вы предполагаете, что все они одинаковы. Тем не менее, если вы агрегируете глобальную дисперсию из групповых дисперсий, вы получите тот же результат, что и при использовании объединенной дисперсии, поскольку определение дисперсии
Во втором случае средства отличаются, но у вас есть общая разница. Этот пример наиболее близок к вашему примеру в редактировании. В этом случае объединенная дисперсия правильно оценивать глобальную дисперсию, в то время как при оценке дисперсии по всему набору данных вы получите неверные результаты, поскольку вы не учитываете тот факт, что группы имеют разные средства.
В третьем случае не имеет смысла оценивать «глобальную» дисперсию, поскольку вы предполагаете, что каждая из групп имеет свою собственную дисперсию. Возможно, вы по-прежнему заинтересованы в получении оценки для всей совокупности, но в таком случае как (а) расчет отдельных отклонений для группы, так и (б) расчет глобальной дисперсии из всего набора данных могут привести к вводящим в заблуждение результатам . Если вы имеете дело с данными такого рода, вам следует подумать об использовании более сложной модели, которая учитывает иерархическую природу данных.
Четвертый случай - самый экстремальный и очень похож на предыдущий. В этом сценарии, если вы хотите оценить среднее значение и дисперсию, вам потребуется другая модель и другой набор предположений. В таком случае вы бы предположили, что ваши данные имеют иерархическую структуру, и помимо средних значений и различий внутри группы, существует общая дисперсия более высокого уровня, например, если предположить следующую модель
where each sample has its own means and variancesμj,σ2j that are themselves draws from common distributions. In such case, you would use a hierarchical model that takes into consideration both the lower-level and upper-level variability. To read more about this kind of models, you can check the Bayesian Data Analysis book by Gelman et al. and their eight schools example. This is however much more complicated model then the simple pooled variance estimator.
источник
The problem is if you just concatenate the samples and estimate its variance you're assuming they're from the same distribution therefore have the same mean. But we are in general interested in several samples with different mean. Does this make sense?
источник
The use-case of pooled variance is when you have two samples from distributions that:
An example of this is a situation where you measure the length of Alice's nosen times for one sample, and measure the length of Bob's nose m times for the second. These are likely to produce a bunch of different measurements on the scale of millimeters, because of measurement error. But you expect the variance in measurement error to be the same no matter which nose you measure.
In this case, taking the pooled variance would give you a better estimate of the variance in measurement error than taking the variance of one sample alone.
источник
Through pooled variance we are not trying to estimate the variance of a bigger sample, using smaller samples. Hence, the two examples you gave don't exactly refer to the question.
Pooled variance is required to get a better estimate of population variance, from two samples that have been randomly taken from that population and come up with different variance estimates.
Example, you are trying to gauge variance in the smoking habits of males in London. You sample two times, 300 males from London. You end up getting two variances (probably a bit different!). Now since, you did a fair random sampling (best to your capability! as true random sampling is almost impossible), you have all the rights to say that both the variances are true point estimates of population variance (London males in this case).
But how is that possible? i.e. two different point estimates!! Thus, we go ahead and find a common point estimate which is pooled variance. It is nothing but weighted average of two point estimates, where the weights are the degree of freedom associated with each sample.
Hope this clarifies.
источник