Во что верить: тест Колмогорова-Смирнова или сюжет QQ?

16

Я пытаюсь определить, соответствует ли мой набор данных непрерывных данных гамма-распределению с параметрами shape 1.7 и rate = 0.000063.==

Проблема в том, когда я использую R для создания графика QQ моего набора данных отношению к теоретической гамме распределения (1,7, 0,000063), я получаю график, который показывает, что эмпирические данные примерно согласуются с гамма-распределением. То же самое происходит с сюжетом ECDF.x

Однако, когда я запускаю тест Колмогорова-Смирнова, он дает мне неоправданно маленькое значение < 1 %p<1% .

Во что я должен верить? Графический вывод или результат KS-теста?

QQplot и ECDF сюжет

user22119
источник
Можете ли вы также предоставить полученные графики распределения плотности?
Царапина
13
Тест и диагностический график не противоречат друг другу. Распределение похоже на теоретическое, как показывает график QQ. Размер выборки достаточно велик, чтобы вы могли заметить даже небольшие отличия от теоретической.
Glen_b

Ответы:

18

Я не вижу никакого смысла в том, чтобы «не верить» сюжету QQ (если вы его правильно подготовили); это просто графическое представление реальности ваших данных, сопоставленное с определением распределения. Понятно, что это не идеальное совпадение, но если этого достаточно для ваших целей, это может быть более или менее концом истории. Вы можете проверить этот связанный вопрос: действительно ли тестирование нормальности «бесполезно»?

p из теста KS в основном говорит о том, что размер вашей выборки достаточно велик, чтобы убедительно противостоять нулевой гипотезе о том, что ваши данные принадлежат точно такому же распределению, что и эталонное распределение (я полагаю, вы ссылались на гамма-распределение; вы может захотеть еще раз проверить, что ты сделал). Это кажется достаточно ясным из графика QQ (то есть, есть небольшие, но, казалось бы, систематические паттерны отклонения), поэтому я не думаю, что здесь действительно есть какая-либо противоречивая информация.

Слишком ли отличаются ваши данные от гамма-распределения для ваших намеченных целей - это другой вопрос. Тест KS сам по себе не может ответить на него (потому что его результат будет зависеть от размера вашей выборки, среди других причин), но график QQ может помочь вам принять решение. Возможно, вы также захотите изучить надежные альтернативы любым другим анализам, которые вы планируете проводить, и если вы особенно серьезно относитесь к чувствительности любого последующего анализа к отклонениям от гамма-распределения, вы можете рассмотреть возможность проведения некоторого имитационного тестирования тоже ,

Ник Стаунер
источник
15

Что вы могли бы сделать, это создать несколько образцов из вашего теоретического распределения и нанести их на фон вашего QQ-графика. Это даст вам представление о том, какую изменчивость вы можете разумно ожидать от простой выборки.

Вы можете расширить эту идею, чтобы создать оболочку вокруг теоретической линии, используя пример со страниц 86-89:

Venables, WN и Ripley, BD 2002. Современная прикладная статистика с С. Нью-Йорк: Springer.

Это будет точечный конверт. Вы можете расширить эту идею еще дальше, чтобы создать общий конверт, используя идеи со страниц 151-154:

Дэвисон А.С. и Хинкли Д.В. 1997. Методы начальной загрузки и их применение. Кембридж: издательство Кембриджского университета.

Тем не менее, для базового исследования, я думаю, просто нанести пару эталонных образцов на задний план вашего QQ-графика будет более чем достаточно.

Мартен Буис
источник
Хорошая идея! Напомни мне, чтобы я проголосовал за это за 11 часов (потратил все мои голоса на мультфильмы ) ... Мне особенно нравится загружать ECDF как способ обогащения такого рода сюжетов.
Ник Стаунер
1
Также взгляните на пакет CRAN sfsmisc, который имеет функцию ecdf.ksCI, создающую доверительный интервал на графике ecdf. Эта же идея может быть использована для построения доверительной полосы на графике QQ ...
kjetil b halvorsen
2

Тест KS предполагает определенные параметры вашего дистрибутива. Он проверяет гипотезу «данные распределяются в соответствии с этим конкретным распределением». Возможно, вы где-то указали эти параметры. Если нет, возможно, использовались некоторые не соответствующие значения по умолчанию. Обратите внимание, что тест KS станет консервативным, если оценочные параметры будут включены в гипотезу.

Тем не менее, большинство проверок на пригодность подходят неправильно. Если тест KS не показал бы значимости, это не означает, что модель, которую вы хотели доказать, является подходящей. Это то, что @Nick Stauner сказал о слишком маленьком размере выборки. Эта проблема аналогична проверке точечных гипотез и проверок эквивалентности.

Итак, в конце: рассмотрим только QQ-графики.

Хорст Грюнбуш
источник
-1

График QQ - это исследовательский метод анализа данных, и его следует рассматривать как таковой, как и все другие графики EDA. Они предназначены только для предварительного ознакомления с имеющимися данными. Вы никогда не должны решать или останавливать свой анализ на основе графиков EDA, таких как график QQ. Это неправильный совет, чтобы рассматривать только графики QQ. Вы должны определенно использовать количественные методы, такие как KS Test. Предположим, у вас есть еще один график QQ для аналогичного набора данных, как бы вы сравнили их без количественного инструмента? Прямо следующий шаг после теста EDA и KS - выяснить, почему тест KS дает низкое значение p (в вашем случае это может быть даже из-за какой-то ошибки).

Методы EDA НЕ предназначены для использования в качестве инструментов принятия решений. На самом деле, я бы сказал, что даже логическая статистика предназначена только для ознакомления. Они дают вам указания относительно того, в каком направлении следует продолжить статистический анализ. Например, t-тест на выборке даст вам только уровень уверенности в том, что выборка может (или не может) принадлежать населению, вы все равно можете продолжить, основываясь на этом понимании того, к какому распределению принадлежат ваши данные и что его параметры и т. д. Фактически, когда некоторые заявляют, что даже методы, реализованные как часть библиотек машинного обучения, также носят исследовательский характер !!! Я надеюсь, что они имеют в виду в этом смысле ...!

Принятие статистических решений на основе графиков или методов визуализации является насмешкой над достижениями, достигнутыми в статистической науке. Если вы спросите меня, вы должны использовать эти графики в качестве инструментов для передачи окончательных выводов на основе вашего количественного статистического анализа.

Муругесан Нараянасвами
источник
Это запрещает мне делать то, что я часто делаю и считаю разумным, принять решение с учетом исследовательского сюжета и остановиться перед более формальной проверкой значимости. Нет издевательства влечет за собой. Это повторяющийся и догматический комментарий, который не добавляет ничего полезного к существующим превосходным и гораздо более детальным ответам. Это очень легко сравнить графики QQ ...
Ник Кокс
Я не читал другие ответы, но если они также поощряют количественные методы, я в порядке. На заданный вопрос я дал свой ответ. Но мне любопытно, что для формальных количественных тестов не требуется много времени (всего несколько минут для тестирования KS) с доступными в настоящее время пакетами, такими как R, так почему же кто-то останавливается на графиках EDA? Сразу после проверки результатов теста KS для R с помощью начальной загрузки я заметил в нескольких местах, где он упоминается как нежелательный для использования и т. Д., .. Это из-за общего подозрения относительно традиционных методов статистики? Это обоснование моих сильных комментариев .. никого не обижать
Murugesan Narayanaswamy
Вы действительно должны прочитать другие ответы перед публикацией. Смысл публикации в том, что у вас есть что-то другое (а также оправданное), чтобы сказать. Ваш комментарий озадачивает, подразумевая, что графики QQ не являются "количественными методами". График QQ показывает в принципе всю количественную информацию, имеющую отношение к оценке соответствия распределения. В отличие от теста, как Колмогоров-Смирнов дает одномерное сокращение и мало помогает в том, что делать дальше.
Ник Кокс
График QQ сравнивает теоретическое распределение с данными тестовых данных и обеспечивает визуальное представление, но тест KS делает то же самое гораздо более строго, используя статистические концепции, и, наконец, дает значение вероятности. Вы не можете сравнивать два графика QQ, но при использовании теста KS вы получите количественную разницу. Неверно, что p-значение теста KS неверно. Также неправильно, что эмпирический набор данных нельзя использовать для извлечения параметров распределения. Я лично сделал начальную загрузку и проверил значения p в обеих таблицах и вручную рассчитал распределение коломогров.
Муругесан Нараянасвами
В вашем комментарии много теневого бокса. Кто спорит, где нельзя использовать эмпирические данные для получения оценок параметров? Это то, что мы все должны согласиться, что делается здесь. Вы должны простить меня за нежелание вести дискуссию. Я поддерживаю мою реакцию на ваш ответ.
Ник Кокс