Я родом из общественных наук, где p <0,05 в значительной степени является нормой, причем p <0,1 и p <0,01 также обнаруживаются, но мне было интересно: в каких областях обучения, если таковые имеются, используют более низкие значения p в качестве общего стандарт?
Мое мнение таково, что это не зависит (и не должно) зависеть от области обучения. Например, вы можете работать на более низком уровне значимости, чем если, например, вы пытаетесь повторить исследование с историческими или устоявшимися результатами (я могу вспомнить несколько исследований об эффекте Струпа , которые привели к некоторые споры в последние несколько лет). Это равносильно рассмотрению более низкого «порога» в классической структуре Неймана-Пирсона для проверки гипотезы. Однако статистическое и практическое (или существенное) значение имеет другое значение.
Sidenote . «Звездная система», по-видимому, доминировала в научных исследованиях еще в 70-х годах, но см. «Земля круглая» (р. <.05) Дж. Коэна ( Американский психолог , 1994, 49 (12), 997-1003), несмотря на то, что мы часто хотим знать, учитывая данные, которые я наблюдал, какова вероятность того, что истинно? Во всяком случае, есть также хорошая дискуссия Джерри Даллала « Почему р = 0,05? ».
Кто-то может редко использовать предварительно заданный уровень альфа ниже, скажем, 0,01, но не так уж редко случается так, что люди утверждают, что подразумеваемый альфа менее 0,01, ошибочно полагая, что наблюдаемое значение P меньше 0,01 - это то же самое, что альфа Неймана-Пирсона менее 0,01.
Значения P Фишера не совпадают или взаимозаменяемы с частотой ошибок Неймана-Пирсона. не означает если только не принято решение использовать в качестве критического уровня значимости при разработке эксперимента. Если вы приняли бы как значимое, тогда означает, что вероятность ложного положительного результата составляет .п= 0,0023 α = 0,0023 0,0023 п= 0,05 п= 0,0023 0,05
Посмотрите на Хаббарда и соавт. Путаница в показателях достоверности (p) и ошибок (α) в классическом статистическом тестировании. Американский статистик (2003), вып. 57 (3)
источник
Я не очень знаком с этой литературой, но я полагаю, что некоторые физики используют намного более низкие пороги в статистических тестах, но они говорят об этом немного по-другому. Например, если мера составляет три стандартных отклонения от теоретического прогноза, она описывается как отклонение «три сигмы». По сути, это означает, что интересующий параметр статистически отличается от прогнозируемого значения в z-тесте с α = .01. Две сигмы примерно эквивалентны α = 0,05 (на самом деле это будет 1,96 σ). Если я не ошибаюсь, стандартный уровень ошибок в физике составляет 5 сигм, что было бы α = 5 * 10 ^ -7
Кроме того, в нейробиологии или эпидемиологии, кажется, все чаще и чаще проводят некоторую коррекцию для множественных сравнений. Поэтому уровень ошибки для каждого отдельного теста может быть ниже, чем р <0,01.
источник
Как отмечает Гаэль Лауранс выше, статистический анализ, который сталкивается с проблемой множественного сравнения, имеет тенденцию использовать более консервативные пороги. Однако по сути они используют 0,05, но умноженные на количество тестов. Очевидно, что эта процедура (коррекция Бонферрони) может быстро привести к невероятно маленьким значениям p. Вот почему люди в прошлом (в неврологии) останавливались на уровне p <0,001. В настоящее время используются другие методы множественных сравнительных поправок (см. Марковскую теорию случайных полей).
источник