Тест Колмогорова – Смирнова против t-критерия

14

У меня возникли некоторые трудности в понимании интерпретации теста 2S KS и того, чем он отличается от обычного t теста между двумя группами.

Допустим, у меня есть мужчины и женщины, выполняющие какое-то задание, и я собираю несколько баллов по этому заданию. Моя конечная цель - определить, по-разному ли мужчины и женщины выполняют эту задачу

Так что я мог сделать одну пробу между двумя группами. Еще одна вещь, которую я мог бы сделать, это рассчитать ECDF для мужчин и женщин, построить их и провести тест KS из 2 образцов. Я бы получил что-то вроде этого:

введите описание изображения здесь

Тест KS

Нулевая гипотеза для теста KS состоит в том, что 2 набора непрерывных распределений оценок происходят из одной популяции

При проведении теста KS я получаю: D = 0,18888, значение p = 0,04742.

Во-первых, я хочу проверить правильность моей интерпретации результатов. Здесь я бы отверг нулевую гипотезу и сказал бы, что распределение мужских и женских оценок происходит из разных групп населения. Или, другими словами, распределение мужских и женских баллов отличаются друг от друга.

В частности, мужчины, как правило, имеют более высокую вероятность достижения более низких баллов по этой задаче, и это разница между двумя полами, как я интерпретирую из сюжета

Т-тест

Теперь при тестировании проверим разницу между мужским и женским средними по переменной показателя.

Давайте представим себе случай, когда в этом задании у мужчин хуже, чем у женщин. В этом случае распределение мужских оценок будет сосредоточено вокруг низкого среднего, тогда как женское распределение будет сосредоточено вокруг высокого среднего. Этот сценарий будет соответствовать графику выше, так как у мужчин будет более высокая вероятность достижения более низких баллов

Если бы критерий Стьюдента оказался значительным, я бы пришел к выводу, что у женщин оценка в среднем значительно выше, чем у мужчин. Или с точки зрения населения, женские оценки взяты из населения, чье среднее значение выше, чем у мужского населения, что очень похоже на вывод KS о том, что они происходят из разных групп населения.

Какая разница?

Таким образом, вывод, который я бы сделал в обоих тестах KS и t, одинаков. Мужчины выступают плохо по сравнению с женщинами. Так в чем же преимущество использования одного теста над другим? Есть ли какие-либо новые знания, которые вы можете получить с помощью теста KS?

На мой взгляд, мужчины с распределением, сосредоточенным вокруг низкого среднего значения, и женщины, сосредоточенные вокруг высокого среднего значения, являются причиной значительного t-теста. Но по тому же самому факту у мужчин будет более высокая вероятность получить более низкие значения, что приведет к тому, что график будет выглядеть выше и даст значительный тест KS. Таким образом, результаты обоих тестов имеют одну и ту же основную причину, но, возможно, можно утверждать, что тест KS учитывает не только средства распределений, но также учитывает форму распределения, но возможно ли разобрать причину значительного теста KS только из результатов теста?

Итак, каково значение запуска теста KS при тестировании? И давайте предположим, что я могу соответствовать предположениям t-теста для этого вопроса

Саймон
источник
Классический t-критерий значительно уступает байесовскому анализу данных, посмотрите, что «Байесовская оценка Джона Крушке заменяет t-критерий» indiana.edu/~kruschke/BEST/BEST.pdf
Владислав Довгалец
Я не уверен, как тест KS относится к байесовским методам ...?
Симон
Просто прекратите использовать KS и t-test
Владислав Довгальец
4
@xeon Если вы собираетесь делать такие сильные заявления, вам лучше их поддержать. Ваш совет был бы бесполезен при выявлении разницы в примере в моем ответе. Почему следует отказаться от подхода, который явно работает на выявление этой разницы в распределении, в пользу того, который не работает?
Glen_b
1
@Glen_b Вот почему написал комментарий, а не ответ. Может быть, OP не читал газету, что здорово, кстати; Я просто хотел предложить это. Но я согласен, что я сделал слишком сильное заявление и вел себя немного снобом. Я извиняюсь за грубость. Больше не будет
Владислав Довгальец

Ответы:

18

В качестве примера того, почему вы хотите использовать два примера теста Колмогорова-Смирнова:

Представьте себе, что средства населения были похожи, но различия были очень разными. Тест Колмогорова-Смирнова может уловить эту разницу, но t-критерий не может.

Или представьте, что у распределений есть аналогичные средние и одинаковые значения, но у мужчин бимодальное распределение (красный), а у женщин (синий) нет:

введите описание изображения здесь

Мужчины и женщины работают по-разному? Да, мужчины, как правило, набирают баллы где-то около 7,5-8 или 12,5-13, в то время как женщины чаще набирают больше очков к середине (около 10 или около того), но гораздо меньше сгруппированы по этому значению, чем два значения мужчины имеют тенденцию забивать рядом с.

Таким образом, Колмогоров-Смирнов может найти гораздо более общие различия в распределении, чем t-критерий.

Glen_b - Восстановить Монику
источник
Ах, есть смысл. Могу ли я расширить эту логику и сказать, что если t-критерий является значимым, то критерий KS также, вероятно, будет значительным, однако это может быть связано со средней разницей и / или любым другим различием в распределении, что делает интерпретацию KS проверить сложно? Так действительно ли тест KS действительно полезен только в том случае, если между двумя группами нет средней разницы?
Симон
T-критерий более чувствителен к различиям в среднем (особенно, если распределение популяций близко к нормальному с аналогичным стандартным отклонением). Тест KS может быть труднее интерпретировать, но я не согласен с вашим последним предложением. У вас может быть небольшая разница в средствах, которая сопровождается другими различиями; t-критерий имеет только различие в способах информирования, в то время как критерий KS может быть основан на других видах различий. Представьте себе приведенный выше пример, но там, где есть небольшое изменение в средствах; t-критерий может не уловить разницу так же легко, как критерий KS.
Glen_b
@Glen_b: тогда правильно ли говорить, что KS проверяет, равны ли распределения, в то время как t-тест проверяет, имеют ли распределения одинаковое среднее значение?
@fcop Да и нет; с учетом допущений и при нулевом значении обычный t-критерий равной дисперсии фактически также проверяет идентичность распределений - именно универсальность альтернативы (в сочетании с допущениями) действительно делает их различными. Конечно, мы можем (и обычно делаем) использовать тесты, когда их допущения не совсем применимы, а затем мы больше смотрим на их поведение с нулевым и альтернативным; t-критерий будет иметь тенденцию быть чувствительным к изменению среднего значения при альтернативе, в то время как KS несколько чувствителен к очень широкому классу альтернатив.
Glen_b