Проверка работоспособности: насколько низким может быть значение p?

Я использую тест ranksum для сравнения медианы двух образцов ( ) и обнаружили , что они значительно отличаются с: . Должен ли я с подозрением относиться к такому маленькому значению или мне следует отнести его к высокой статистической мощности, связанной с наличием очень большой выборки? Есть ли такая вещь, как подозрительно низкое значение? $n=120000$ p = 1.12E-207 $p$ $p$

hypothesis-testing p-value sample-size power N26
источник

Это почти копия stats.stackexchange.com/questions/78839 .

амеба говорит восстановить монику

Ответы:

Значения P на стандартных компьютерах (с использованием IEEE с плавающей запятой двойной точности) могут достигать примерно . Это могут быть законно правильные вычисления, когда размеры эффекта велики и / или стандартные ошибки низки. Ваше значение, если оно вычислено с помощью T или нормального распределения, соответствует величине эффекта около 31 стандартной ошибки. Помните, что стандартные ошибки обычно масштабируются с обратным квадратным корнем из , что отражает разницу менее 0,09 стандартных отклонений (при условии, что все выборки независимы). В большинстве приложений не было бы ничего подозрительного или необычного в такой разнице. $10^{-303}$ $n$

Интерпретация таких p-значений - другое дело. Рассмотрение числа, равного или даже как вероятности превышает границы разума, учитывая все возможные пути отклонения реальности от вероятностной модели, лежащей в основе этой p- расчет стоимости. Хороший выбор - сообщить, что значение p меньше наименьшего порогового значения, которое, по вашему мнению, может разумно поддерживать модель: часто от до . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

Whuber
источник

Когда я сообщил « » в документе конференции, рецензент сказал мне, что я должен изменить его на « », чтобы следовать рекомендациям APA.

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

Томас Левин

@whuber - Красиво сказано.

rolando2

(+1) В какой-то момент более вероятно, что правительство злонамеренно переворачивает биты в вашей оперативной памяти с помощью технологии супер-шпионов ...

JMS

(+1) На самом деле вы можете опуститься чуть ниже в плавающей точке двойной точности IEEE. Но ваши числовые процедуры для вычисления значений почти гарантированно развалится до этого. Если вы точно не знаете, что ваши предположения о моделировании совершенно верны (и когда они?), То значение в конечном итоге становится мерой размера выборки, как только выборка становится достаточно большой.

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

кардинал

@Cardinal, мы оба ошибаемся в отношении пределов: кроме денормализованных значений, наименьшее двойное значение IEEE составляет приблизительно , что соответствует десяти битам для показателя степени 2.

10^{- 308}

$10^{-308}$

whuber

Ничего подозрительного в этом нет - крайне низкие значения p, такие как ваши, довольно распространены, когда размеры выборки велики (как и ваша для сравнения медиан). Как упомянуто выше, обычно такие значения p сообщаются как некие некоторые пороговые значения (например, <0,001).

Одна вещь, о которой следует быть осторожным, состоит в том, что p-значения только говорят вам, является ли разница в медиане статистически значимой. Достаточно ли велико различие по величине - это то, что вам придется решить: например, для больших выборочных наборов чрезвычайно малые различия в средних / средних значениях могут быть статистически значимыми, но это может не иметь большого значения.

Xuexue
источник

Значение p может достигать значения 0.

Предположим, я проверяю составную гипотезу о значении диапазона однородной случайной величины 0, . Если я установлю и выберу значение , вы увидите, что при нулевой гипотезе невозможно наблюдать такое значение или выше. Значение p равно 0. $\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

Adamo
источник