Допустим, у меня есть два образца. Если я хочу сказать, получены ли они из разных групп населения, я могу провести t-тест. Но допустим, я хочу проверить, являются ли образцы одной популяции. Как это сделать? То есть как рассчитать статистическую вероятность того, что эти две выборки были получены из одной популяции?
statistical-significance
user1566200
источник
источник
Ответы:
Тесты, которые сравнивают распределения, являются тестами исключения. Они начинают с нулевой гипотезы о том, что две популяции идентичны, а затем пытаются отвергнуть эту гипотезу. Мы никогда не сможем доказать, что значение null является правдой, просто отклонить его, поэтому эти тесты нельзя использовать, чтобы показать, что 2 выборки происходят из одной и той же совокупности (или идентичных совокупностей).
Это связано с тем, что в распределениях могут быть незначительные различия (то есть они не идентичны), но они настолько малы, что тесты не могут найти разницу.
Рассмотрим 2 распределения: первое является равномерным от 0 до 1, второе представляет собой смесь 2-х униформ, поэтому оно составляет 1 между 0 и 0,999, а также 1 между 9,999 и 10 (0 в других местах). Очевидно, что эти распределения различны (имеет ли значение различие, это другой вопрос), но если вы берете размер выборки 50 от каждого (всего 100), существует более 90% вероятности, что вы увидите только значения от 0 до 0,999 и быть не в состоянии увидеть какую-либо реальную разницу.
Есть способы сделать так называемое тестирование на эквивалентность, когда вы спрашиваете, эквивалентны ли 2 распределения / группы, но вам нужно определить, что вы считаете эквивалентным. Как правило, некоторая мера разницы находится в заданном диапазоне, то есть разница в 2 средних составляет менее 5% от среднего значения 2 средних, или статистика KS ниже заданного порогового значения и т. Д. Если вы Затем можно рассчитать доверительный интервал для разностной статистики (разность средних может быть просто доверительным интервалом, для другой статистики может потребоваться начальная загрузка, моделирование или другие методы). Если весь доверительный интервал попадает в «область эквивалентности», то мы считаем, что 2 популяции / распределения являются «эквивалентными».
Сложная часть - выяснить, какой должна быть область эквивалентности.
источник
http://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test
Предполагая, что ваши значения выборки получены из непрерывных распределений, я бы предложил тест Колмогорова-Смирнова. Его можно использовать для проверки того, приходят ли две выборки из разных распределений (именно так я интерпретирую ваше использование совокупности) на основе их связанных эмпирических распределений.
Прямо из Википедии:
Для этого теста можно использовать функцию ks.test в R.
Хотя это верно, что kstest не проверяет однородность, я бы сказал, что если вам не удастся отбросить образец с достаточно большим размером выборки (тест с высокой мощностью), вы можете утверждать, что различия практически не значимы. Можно сделать вывод, что, если различия существуют, они, вероятно, не имеют смысла (опять же, принимая во внимание большой размер выборки). Вы не можете сделать вывод, что они принадлежат к тому же населению, что и другие правильно заявили. При всем этом, как правило, я бы просто графически исследовал два образца на предмет сходства.
источник
Вы можете использовать «функцию сдвига», которая проверяет, отличаются ли 2 распределения на каждом дециле. Хотя это технически проверка того, принадлежат ли они к разным группам, а не к одному и тому же, если распределения не отличаются ни по одному из децилей, то вы можете быть достаточно уверены, что они принадлежат к одной и той же группе, особенно если размеры групп велики.
Я бы также визуализировал 2 группы: наложил их распределения и посмотрел, похожи ли они друг на друга, или, еще лучше, нарисую пару тысяч загрузочных образцов из каждой группы и нанесу их на график , так как это даст вам представление о том, происходят ли они из одной и той же группы. популяция, особенно если рассматриваемая популяция обычно не распределена по заданной вами переменной.
источник