Недавно я нашел в статье Klammer, et al. утверждение, что p-значения должны быть равномерно распределены. Я верю авторам, но не могу понять, почему это так.
Klammer, AA, Park, CY, и Stafford Noble, W. (2009) Статистическая калибровка функции SEQUEST XCorr . Журнал исследований протеома . 8 (4): 2106–2113.
Ответы:
Чтобы уточнить немного. Значение p распределяется равномерно, когда нулевая гипотеза верна и все остальные предположения выполнены. Причиной этого является определение альфа как вероятности ошибки типа I. Мы хотим, чтобы вероятность отклонения истинной нулевой гипотезы была альфа, мы отвергаем, когда наблюдаемое , единственный способ, которым это происходит для любого значения альфа, - это когда значение p получается из равномерного распределение. Весь смысл использования правильного распределения (normal, t, f, chisq и т. Д.) Состоит в том, чтобы преобразовать статистику теста в однородное p-значение. Если нулевая гипотеза ложна, то распределение значения p будет (надеюсь) более взвешенным в сторону 0.p-value<α
Функции
Pvalue.norm.sim
иPvalue.binom.sim
в пакете TeachingDemos для R будут имитировать несколько наборов данных, вычислять p-значения и наносить их на график, чтобы продемонстрировать эту идею.Также см:
для более подробной информации.
Редактировать:
Поскольку люди все еще читают этот ответ и комментируют, я подумал, что смогу ответить на комментарий @ whuber.
Это правда, что при использовании составной нулевой гипотезы, такой как , p-значения будут равномерно распределены только тогда, когда средние 2 точно равны, и не будут одинаковыми, если имеет любое значение, которое меньше . Это легко увидеть, если использовать функцию и настроить ее для проведения одностороннего теста, а симуляция с помощью симуляции и гипотезы означает другое (но в направлении, чтобы сделать ноль истинным).μ 1 μ 2μ1≤μ2 μ1 μ2
Pvalue.norm.sim
Что касается статистической теории, это не имеет значения. Подумайте, если я утверждаю, что я выше, чем каждый член вашей семьи, один из способов проверить это утверждение - сравнить мой рост с ростом каждого члена вашей семьи по одному. Другой вариант - найти члена вашей семьи, который является самым высоким, и сравнить его рост с моим. Если я выше этого человека, то и я выше остальных, и мое утверждение верно, если я не выше этого человека, то мое утверждение неверно. Тестирование составного нуля можно рассматривать как похожий процесс, а не тестирование всех возможных комбинаций, где мы можем проверить только часть равенства, потому что если мы можем отклонить это в пользуμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2 αμ1≤μ2 μ1=μ2 μ1>μ2 тогда мы знаем, что мы также можем отказаться от всех возможностей . Если мы посмотрим на распределение значений p для случаев, когда распределение не будет идеально равномерным, но будет иметь больше значений ближе к 1, чем к 0, что означает, что вероятность ошибки типа I будет меньше выбранное значение делает его консервативным тестом. Униформа становится предельным распределением, когда становится ближе кμ1<μ2 μ1<μ2 α μ1 μ2 (люди, которые более современны в терминах теории статов, вероятно, могли бы утверждать это лучше в терминах распределительного супремума или чего-то подобного). Таким образом, создавая наш тест, принимая равную часть нуля, даже если значение NULL является составным, мы создаем наш тест таким образом, чтобы вероятность ошибки типа I не превышала для любых условий, в которых значение NULL равно true.α
источник
\leq
в TeX)!Согласно нулевой гипотезе, ваша тестовая статистика имеет распределение (например, стандартная норма). Покажем, что p-значение имеет распределение вероятностей другими словами, распределяется равномерно. Это верно до тех пор, пока является обратимым, необходимым условием которого является то, что не является дискретной случайной величиной.T F(t) P=F(T)
Этот результат является общим: распределение обратимых CDF случайной величины равномерно на .[0,1]
источник
Обозначим через случайную величину с кумулятивной функцией распределения для всех . Предполагая, что обратимо, мы можем вывести распределение случайного p-значения следующим образом:T F(t)≡Pr(T<t) t F P=F(T)
из чего можно сделать вывод, что распределение равномерно на .P [0,1]
Этот ответ похож на ответ Чарли, но избегает необходимости определять .t=F−1(p)
источник
Простое моделирование распределения значений p в случае линейной регрессии между двумя независимыми переменными:
источник
Я не думаю, что большинство из этих ответов на самом деле отвечают на вопрос в целом. Они ограничены случаем, когда существует простая нулевая гипотеза и когда статистика теста имеет обратимый CDF (как в непрерывной случайной переменной, которая имеет строго увеличивающийся CDF). Эти случаи являются случаями, о которых обычно заботятся большинство людей с помощью z-теста и t-теста, хотя для тестирования биномиального среднего (например) такого CDF нет. То, что приведено выше, кажется правильным для этих ограниченных случаев.
Если нулевые гипотезы составные, то все немного сложнее. Наиболее общее доказательство этого факта, которое я видел в составном случае с использованием некоторых допущений относительно областей отклонения, приведено в «Проверка статистических гипотез» Лемана и Романо, стр. 63–64. Я постараюсь воспроизвести аргумент ниже ...
Мы тестируем нулевую гипотезу против альтернативной гипотезы на основе тестовой статистики, которую мы будем обозначать как случайной величины . Предполагается, что тестовая статистика поступает из некоторого параметрического класса, то есть , где - элемент семейства распределений вероятностей , а - пространство параметров. Нулевая гипотеза и альтернативная гипотеза образуют разбиение в этомH0 H1 X X∼Pθ Pθ P≡{Pθ∣θ∈Θ} Θ H0:θ∈Θ0 H1:θ∈Θ1 Θ Θ=Θ0∪Θ1
где
Θ0∩Θ1=∅.
Результат теста можно обозначить где для любого набора мы определяем Здесь - наш уровень значимости, а обозначает область отклонения теста для уровня значимости .ϕα(X)=1Rα(X) S 1S(X)={1,0,X∈S,X∉S. α Rα α
Предположим, что области отклонения удовлетворяют if . В этом случае вложенных областей отклонения полезно определить не только то, отклоняется или нет нулевая гипотеза на данном уровне значимости , но также определить наименьший уровень значимости, для которого нулевая гипотеза будет отклонена. Этот уровень известен как p-значение , Это число дает нам представление о насколько сильно данные (представленные в тестовой статистике ) противоречат нулевой гипотезе .Rα⊂Rα′ α<α′ α p^=p^(X)≡inf{α∣X∈Rα}, X H0
Предположим, что для некоторого и что . Предположим дополнительно, что области отклонения подчиняются указанному выше свойству вложенности. Тогда имеет место следующее:X∼Pθ θ∈Θ H0:θ∈Θ0 Rα
Если для всех , то для ,supθ∈Θ0Pθ(X∈Rα)≤α 0<α<1 θ∈Θ0 Pθ(p^≤u)≤ufor all0≤u≤1.
Если для у нас есть для всех , то для мы имеемθ∈Θ0 Pθ(X∈Rα)=α 0<α<1 θ∈Θ0 Pθ(p^≤u)=ufor all0≤u≤1.
Обратите внимание, что это первое свойство просто говорит нам о том, что уровень ложных срабатываний контролируется для путем отклонения, когда значение p меньше , а второе свойство говорит нам (учитывая дополнительное предположение), что значения p равномерно распределены под нулем гипотеза.u u
Доказательство состоит в следующем:
Пусть и предположим, что для всех . Тогда по определению мы имеем для всех . Из монотонности и предположения следует, что для всех . Если , то .θ∈Θ0 supθ∈Θ0Pθ(X∈Rα)≤α 0<α<1 p^ {p^≤u}⊂{X∈Rv} u<v Pθ(p^≤u)≤Pθ(X∈Rv)≤v u<v v↘u Pθ(p^≤u)≤u
Пусть и предположим, что для всех . Тогда , и по монотонности следует, что . Учитывая (1), следует, что .θ∈Θ0 Pθ(X∈Rα)=α 0<α<1 {X∈Ru}⊂{p^(X)≤u} u=Pθ(X∈Ru)≤Pθ(p^≤u) Pθ(p^(X)≤u)=u
Обратите внимание, что предположение в (2) не выполняется, когда тестовая статистика дискретна, даже если нулевая гипотеза является простой, а не составной. Взять, к примеру, с и . Т.е., переверните монету десять раз и проверьте, справедливо ли она по отношению к головам (закодировано как 1). Вероятность увидеть 10 голов за 10 монетных бросков равна (1/2) ^ 10 = 1/1024. Вероятность увидеть 9 или 10 голов в 10 честных бросках монеты - 11/1024. Для любой строго между 1/1024 и 11/1024 вы бы отклонили ноль, если , но у нас нет этого для этих значений когдаX∼Binom(10,θ) H0:θ=.5 H1:θ>0.5 α X=10 Pr(X∈Rα)=α α θ=0.5 . Вместо для такой . Pr(X∈Rα)=1/1024 α
источник
Если значения p равномерно распределены по H0, это означает, что вероятность того, что p-значение будет равно 0,05, равно значению p, равному 0,80, но это не так, поскольку вероятность того, что p-значение будет меньше, меньше. значение 0,05, чем значение р 0,80, потому что это точно определение нормального распределения, из которого берут значение р. По определению будет больше образцов, падающих в пределах нормы, чем вне ее. Поэтому с большей вероятностью можно найти большие значения p, чем меньшие.
источник