Достаточно ли р-значения 0,04993, чтобы отвергнуть нулевую гипотезу?

В тесте статистической значимости по Уилкоксона мы натолкнулись на некоторые данные, которые дают значение . С порогом этого результата достаточно, чтобы отвергнуть нулевую гипотезу, или безопаснее сказать, что тест был неубедительным, так как если мы округлим p-значение до 3 десятичных знаков, оно станет ? $p$ $0.04993$ $p < 0.05$ $0.050$

hypothesis-testing statistical-significance p-value Ислам Эль-Набарави
источник

0,04993 <0,05, так что просто ниже. Ваш инстинкт хорош тем, что никакое P-значение нельзя доверять нескольким десятичным разрядам, но если программа говорит меньше 0,05, люди обычно принимают это как доставленное. Настоящей проблемой здесь является создание фетиша тестирования значимости фиксированного уровня, чтобы <0,05 означало «реальный», «публикуемый», «повод для счастья», а противоположное означало «иллюзорный», «не публикуемый», «повод для страданий»). , Самые хорошие вводные тексты по статистике обсуждают это в некоторой степени. Один хороший - это Фридман, Пизани, Пурвес, Статистика . Нью-Йорк: WW Norton, любое издание.

Ник Кокс

Вы должны спросить себя, каково будет ваше решение, если значение p равно 0,051? что если это 0,049? Будете ли вы принимать разные решения? Почему?

AlefSin

Спасибо за ваши Коментарии. В нашем случае мы не задумываемся о том, являются ли данные публикуемыми или нет, и т. Д. Мы просто рассматриваем возможность сделать заявление в статье о статистической значимости этого результата, и мы хотим убедиться, что наше утверждение не является неправильным или неточным ,

Ислам Эль-Набарави

Отчетность P = 0.04993 - вот что приходит на ум. Трудно предсказать комментарии рецензентов или редакторов. Если вы хотите округлить, указание согласованного соглашения о округлении всегда является хорошей идеей и широко приемлемым. Некоторые люди округляют до 3 дп и могут также использовать какое-то соглашение о главных ролях, поэтому сообщая 0,050 (3 дп) и помечая его как <0,05, согласуются.

Ник Кокс

Я не знаю ... может быть, мы должны запустить двойную загрузку и вычислить доверительный интервал для значения! Честно говоря, я бы сообщил: «Полученные данные были погранично значимыми, ». В этот момент вы расщепляете волосы, и все вдруг вспоминают, что 1/20 вероятности ложного срабатывания - совершенно произвольный способ управлять наукой.

p

$p$

0.049 < p < 0.050

$0.049 < p < 0.050$

AdamO

Ответы:

Здесь есть две проблемы:

1) Если вы проводите тест формальной гипотезы (и если вы уже зашли в кавычки p-значения в моей книге, то вы уже), каково формальное правило отклонения?

При сравнении статистики теста с критическими значениями критическое значение находится в области отклонения . Хотя эта формальность не имеет большого значения, когда все непрерывно, имеет значение, когда распределение тестовой статистики дискретно.

Соответственно, при сравнении значений p и уровней значимости, правило таково:

Отклонить, если $p\leq\alpha$

Обратите внимание, что даже если вы округлили свое значение p до 0,05, даже если значение было точно 0,05, формально вы все равно должны отказаться . $p$

2) В терминах «что говорит нам наше p-значение», если предположить, что вы даже можете интерпретировать p-значение как «свидетельство против нуля» (скажем, мнение по этому вопросу несколько разделено), 0.0499 и 0.0501 не являются на самом деле разные вещи о данных (размеры эффекта, как правило, будут почти одинаковыми).

Мое предложение состояло бы в том, чтобы (1) формально отклонить нуль и, возможно, указать, что, даже если он был ровно 0,05, его все равно следует отклонить; (2) принять к сведению , что нет ничего особенно специального о $\alpha = 0.05$ , и это очень близко к тому границе - даже немного меньше порогового значения не приведет к отказу.

Glen_b - Восстановить Монику
источник

Но, опять же, вы можете использовать очень похожие аргументы, чтобы не отклонять нуль. В 0,05 нет ничего особенного, если бы вы выбрали 0,06 в качестве предела, вы, вероятно, не задавали бы вопрос, но ситуация не сильно изменилась бы ... Скорее в этих ситуациях я бы спросил: «каково реальное смысл жизни этого результата? Например, если бы это был биологический эксперимент, я бы посмотрел на биологическую значимость конкретного результата, сообщил бы о значении p как есть и скорее прокомментировал бы биологию.

Нико

@Nico это был уже пункт моего пункта (2); он выступает против чрезмерной зависимости от формального подхода в (1)

Glen_b

Спасибо Глену и Нико. Эта часть данных была вторичной по отношению к нашим экспериментам, поэтому мы только что сообщили о значении как есть. В любом случае я отмечаю это как принятый ответ. Еще раз спасибо всем, кто участвовал с ответами или комментариями.

Ислам Эль-Набарави

Это лежит в глазах смотрящего.

$\alpha$ $\alpha=0.05$

Так что это действительно сводится к тому, что AlefSin прокомментировал раньше. Не может быть «правильного ответа» на ваш вопрос. Сообщите, что вы получили, округлено или нет.

Существует огромное количество литературы о «значении значимости»; см., например, недавнюю работу одного из ведущих немецких статистиков Вальтера Крамера «Культ статистической значимости - что экономисты должны и не должны делать, чтобы заставить их данные говорить», Schmollers Jahrbuch 131 , 455-468, 2011.

разводка
источник

-6

$p=0.05$

Ключевая проблема заключается в этой фразе: «Мы столкнулись с некоторыми данными ...».

$p$ $p$

Существует название для такого рода статистических нарушений: выемка данных . У меня двойственное отношение к сообщению об этом в газете как интересной гипотезе; есть ли у вас какая-то физическая причина, по которой вы ожидаете, что она будет проведена

Однако есть один выход. Возможно , вы решили априори выполнять только этот один тест на только этот один набор данных. Вы записали это в своей лабораторной тетради, перед кем-то, чтобы потом доказать это. Тогда вы сделали свой тест.

$p=0.05$

Майк Маккой
источник

Это может быть чрезмерная зависимость от конкретного выбора формулировки; вы предполагаете довольно многое из того, что может быть просто плохим выбором слов - не у всех здесь английский является родным языком. Это определенно стоит поднять как потенциальную проблему, но простое высказывание («абсолютно нет») означает, что вы знаете больше, чем мы можем сказать из того, что здесь. (Кроме того, ссылка на «лабораторную записную книжку» подразумевает, что ОП выполняет работу в лаборатории. Я сомневаюсь, что это так. Опять же, вы подразумеваете, что знаете больше, чем мы имеем здесь.)

Glen_b -Reinstate Monica

Майк Маккой, спасибо за ваш ответ, но я боюсь, что в этом случае Glen_b является правильным. Я не являюсь носителем английского языка, и хотя я стараюсь писать и говорить настолько свободно, насколько позволяют мои навыки, использование и оттенок продолжают ускользать от меня. Таким образом, в данном конкретном случае мы не пробовали разные вещи, пока не нашли что-то существенное. На самом деле, мы пытались доказать, что не было статистически значимого увеличения некоторого значения ошибки, и в одном конкретном случае мы обнаружили, что ошибка фактически уменьшилась, и когда мы запустили W-тест, именно здесь мы получили 0,0499. ,

Ислам Эль-Набарави

Майк, я также не видел проблемы в формулировке вопроса. И, кажется, никто больше не видел признаков отслеживания данных, добычи, выемки грунта, чего бы то ни было здесь ... И это определенно лежит в глазах смотрящего. Нет математического факта, кроме правила выбора, выбранного статистиком. Перечитайте, что написал АлефСин, Глен в своей точке (2) и я.

Skullduggery

@ IslamEl-Nabarawy Если вы хотите установить эквивалентность / отсутствие различий, у вас есть много других проблем, кроме как интерпретировать значение, близкое к пороговому значению, или потенциальное отслеживание данных. Просто найти значение p, немного превышающее 0,05 (или любой другой уровень ошибки, который вы выберете), явно недостаточно. Найдите «тестирование на эквивалентность» здесь и в другом месте или задайте вопрос конкретно об этом, потому что это совершенно другая проблема.

Гала

«Однако есть один выход. Возможно, вы решили априори выполнить только один этот тест только с одним этим набором данных. Вы записали это в своей лабораторной тетради перед кем-то, чтобы потом доказать это. Затем вы сделали тест. Если вы сделали это, то ваш результат справедлив при р = 0,05 уровне, и вы можете его до скептиков , как я. в противном случае, извините, это не статистически значимый результат» Разговор о виноватым , пока не доказано невинный. Итак, в отсутствие криминалистических доказательств, исключающих академическую нечестность, анализ бесполезен? Sheesh.

GoF_Logistic