Как мы можем узнать дисперсию населения?

При проверке гипотез, общий вопрос - что такое популяционная дисперсия? Мой вопрос: как мы можем узнать разницу населения? Если бы мы знали все распределение, мы могли бы также знать среднее значение для всего населения. Тогда какой смысл в проверке гипотез?

Я не уверен, что эта проблема действительно часто встречается за пределами статистики 101 (введение в статистику). Я не уверен, что когда-либо видел это. С другой стороны, мы представляем материал таким образом, когда преподаем вводные курсы, потому что он обеспечивает логическое развитие: вы начинаете с простой ситуации, когда существует только одна группа и вы знаете разницу, а затем переходите к тому, чего вы не делаете. узнать дисперсию, затем перейти к двум группам (но с одинаковой дисперсией) и т. д.

Чтобы затронуть немного другой вопрос, вы спрашиваете, зачем нам беспокоиться о проверке гипотез, если бы мы знали дисперсию, поскольку поэтому мы должны также знать среднее значение. Последняя часть является разумной, но первая часть представляет собой недоразумение: среднее значение, которое мы знаем, будет средним при нулевой гипотезе. Это то, что мы тестируем. Рассмотрим пример оценки IQ @ StephanKolassa. Мы знаем, что среднее значение равно 100, а стандартное отклонение равно 15; Что мы тестируем, так это то, что наша группа (скажем, рыжеволосые левши или, возможно, вводная статистика студентов) отличается от этого.

Часто мы не знаем дисперсию населения как таковую - но у нас есть очень надежная оценка из другой выборки. Например, вот пример оценки того, снизился ли средний вес пингвинов, где мы используем среднее значение для небольшой выборки, но отклонение от большей независимой выборки. Конечно, это предполагает, что дисперсия одинакова в обеих популяциях.

Другим примером могут быть классические шкалы IQ. Они нормализованы, чтобы иметь среднее значение 100 и стандартное отклонение 15, используя очень большие выборки. Затем мы могли бы взять конкретную выборку (скажем, 50 левшей рыжих) и спросить, значительно ли их средний IQ превышает 100, используя 15 ^ 2 в качестве «известной» дисперсии. Конечно, еще раз возникает вопрос, действительно ли дисперсия между двумя выборками действительно одинакова - в конце концов, мы уже проверяем, являются ли средние значения различными, так почему же различия должны быть равны?

Итог: ваши опасения верны, и обычно тесты с известными моментами служат только для дидактических целей. На курсах статистики за ними обычно следуют тесты с использованием оценочных моментов.

Единственный способ узнать дисперсию населения - это измерить все население.

Тем не менее, измерение всей популяции часто невозможно; это требует ресурсов, включая деньги, инструменты, персонал и доступ. По этой причине мы выбираем популяции; это измерение подмножества населения. Процесс выборки должен быть разработан тщательно и с целью создания выборочной совокупности, которая является репрезентативной для совокупности; давая два ключевых соображения - размер выборки и метод выборки.

Пример игрушки: Вы хотите оценить разницу в весе для взрослого населения Швеции. В Швеции около 9,5 миллионов шведов, поэтому вряд ли вы сможете измерить их всех. Поэтому вам необходимо измерить выборочную совокупность, из которой вы можете оценить истинную дисперсию внутри популяции.

Вы отправляетесь на выборку шведского населения. Чтобы сделать это, вы идете и стоите в центре Стокгольма, и просто так стоите прямо у популярной вымышленной шведской сети бургеров Burger Kungen . На самом деле идет дождь и холодно (должно быть лето), поэтому вы стоите внутри ресторана. Здесь вы весите четыре человека.

Скорее всего, ваша выборка не очень хорошо отразится на населении Швеции. То, что у вас есть, это образец людей в Стокгольме, которые находятся в ресторане с гамбургерами. Это плохая методика выборки, потому что она может исказить результат, не давая достоверного представления о населении, которое вы пытаетесь оценить. Кроме того, у вас небольшой размер выборкиТаким образом, у вас есть высокий риск выбора четырех человек, которые находятся в крайней численности населения; или очень легкий или очень тяжелый. Если вы выбрали 1000 человек, у вас меньше шансов вызвать смещение выборки; гораздо меньше шансов выбрать 1000 необычных людей, чем четыре необычных. Больший размер выборки, по крайней мере, даст вам более точную оценку среднего значения и дисперсии веса среди клиентов Burger Kungen.

Гистограмма иллюстрирует влияние техники выборки: распределение серого может представлять население Швеции, которое не ест в Бургер Кунгене (в среднем 85 кг), а красное может представлять население потребителей Бургер Кунгена (в среднем 100 кг) и синие черточки могут быть четырьмя людьми, которых вы выбрали. Правильный метод выборки должен был бы справедливо взвешивать население, и в этом случае ~ 75% населения, то есть 75% измеряемых образцов, не должны быть клиентами Burger Kungen.

Это серьезная проблема с большим количеством опросов. Например, люди, которые могут отвечать на опросы удовлетворенности клиентов или опросы общественного мнения на выборах, как правило, непропорционально представлены людьми с экстремальными взглядами; люди с менее сильным мнением имеют тенденцию быть более сдержанными в выражении их.

Смысл проверки гипотезы ( не всегда ) состоит , например, в том, чтобы проверить, отличаются ли две популяции друг от друга. Например, клиенты Burger Kungen весят больше, чем шведы, которые не едят в Burger Kungen? Способность проверить это точно зависит от правильной техники отбора проб и достаточного размера выборки.

R код для проверки, чтобы все это произошло:

df1 = data.frame(rnorm(9500000, 85, 15), sample(c("Y","N","N","N"), replace = T))
colnames(df1) = c("weight","customer")
df1$weight = ifelse(df1$customer == "Y", df1$weight + rnorm(length(df1$weight[df1$customer =="Y"]), 15, 2), df1$weight)
subsample = sample(df1$weight[df1$customer=="Y"], size = 4)

png(paste0(path,"SwedenWeight.png"), res =1000, width = 4, height = 4, units = "in")
par(mar=c(5,6,2,2))
hist(df1$weight[df1$customer=="N"], xlab = "Kilograms", col = rgb(0,0,0,0.5), main ="")
hist(df1$weight[df1$customer=="Y"], add = T, col = rgb(1,0,0,0.5))
axis(side = 1, at = c(subsample), labels = c("","","",""), tck = -0.03, col = "blue")
axis(side = 1, at = c(0,150), labels = c("",""), tck = -0)
dev.off()

t.test(df1$weight~df1$customer)

Результаты:

> t.test(df1$weight~df1$customer)

        Welch Two Sample t-test

data:  df1$weight by df1$customer
t = -1327.7, df = 4042400, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -15.04688 -15.00252
sample estimates:
mean in group N mean in group Y 
       84.99555       100.02024 

Иногда дисперсия населения устанавливается априори . Например, баллы SAT масштабируются так, чтобы стандартное отклонение составляло 110, а тесты IQ масштабировались так, чтобы иметь стандартное отклонение 15 .

Единственный реалистичный пример, который я могу вспомнить, когда среднее значение неизвестно, но дисперсия известна, - это когда происходит случайная выборка точек на гиперсфере (в любом измерении) с фиксированным радиусом и неизвестным центром. Эта задача имеет неизвестное среднее значение (центр сферы), но имеет фиксированную дисперсию (квадрат радиуса сферы). Мне не известны какие-либо другие реалистичные примеры, где есть неизвестное среднее, но известное отклонение. (И чтобы быть ясным: просто наличие оценки внешней дисперсии из других данных не является примером известной дисперсии. Кроме того, если у вас есть эта оценка дисперсии из других данных, почему бы вам не получить соответствующую среднюю оценку из этих же данные?)

На мой взгляд, вводные статистические курсы, которые преподают тесты с неизвестным средним и известным отклонением, являются анахронизмом, и они ошибочно воспринимаются как современный инструмент обучения. Педагогически гораздо лучше начать непосредственно с T-критерия для случая неизвестного среднего значения и дисперсии и рассматривать z-критерий как асимптотическое приближение к этому, которое имеет место, когда степени свободы велики (или нет). даже потрудиться научить z-тест вообще). Количество ситуаций, в которых может быть известное отклонение, но неизвестное среднее, исчезающе мало, и студенты обычно вводят в заблуждение введение этого (безумно редкого) случая.

Иногда в прикладных задачах есть причины, представленные физикой, экономикой и т. Д., Которые говорят нам о дисперсии и не имеют неопределенности. В других случаях численность населения может быть конечной, и мы можем знать кое-что о каждом, но нам нужно выбрать и выполнить статистику, чтобы узнать все остальное.

Как правило, ваше беспокойство вполне обоснованно.