Интерпретация p-значения в проверке гипотез

Недавно я наткнулся на статью «Незначительное тестирование значимости нулевой гипотезы», Джефф Гилл (1999) . Автор высказал несколько распространенных заблуждений относительно проверки гипотез и р-значений, по поводу которых у меня есть два конкретных вопроса:

1. Технически это p-значение , которое, как указано в статье, обычно ничего не говорит нам о , если только мы не знаем предельных распределений, что редко бывает при «повседневной» проверке гипотез. Когда мы получаем небольшое значение p и «отвергаем нулевую гипотезу», каково именно то вероятностное утверждение, которое мы делаем, поскольку мы ничего не можем сказать о ?$P({\rm observation}|H_{0})$$P(H_{0}|{\rm observation})$$P(H_{0}|{\rm observation})$
2. Второй вопрос относится к конкретному утверждению со страницы 6 (652) статьи:

Поскольку значение p или диапазон значений p, обозначенных звездочками, не установлены априори, это не долгосрочная вероятность ошибки типа I, а обычно рассматривается как таковая.

Может кто-нибудь помочь объяснить, что подразумевается под этим утверждением?

(Технически, P-значение - это вероятность наблюдения данных, по крайней мере, настолько экстремальных, насколько это реально наблюдалось, учитывая нулевую гипотезу.)

Q1. Решение отклонить нулевую гипотезу на основе малого значения P обычно зависит от «дизъюнкции Фишера»: либо произошло редкое событие, либо нулевая гипотеза является ложной. Фактически, редкость события - это то, что говорит вам P-значение, а не вероятность того, что ноль будет ложным.

Вероятность того, что ноль является ложным, может быть получена из экспериментальных данных только с помощью теоремы Байеса, которая требует уточнения «предыдущей» вероятности нулевой гипотезы (предположительно то, что Гилл называет «предельными распределениями»).

Q2. Эта часть вашего вопроса гораздо сложнее, чем может показаться. Существует большая путаница в отношении P-значений и частоты ошибок, которые, по-видимому, то, что Гилл имеет в виду, «но обычно рассматривается как таковой». Комбинация фишеровских P-значений с частотой ошибок Неймана-Пирсона была названа бессвязной ошибкой, и, к сожалению, она очень широко распространена. Краткий ответ здесь не будет полностью адекватным, но я могу указать вам пару хороших статей (да, одна моя). И то, и другое поможет вам разобраться в работе Gill.

Hurlbert S. & Lombardi C. (2009). Окончательный крах теоретической основы решения Неймана-Пирсона и рост неофишерианства. Annales Zoologici Fennici, 46 (5), 311–349. (Ссылка на статью)

Лью, MJ (2012). Плохая статистическая практика в фармакологии (и других основных биомедицинских дисциплинах): вы, вероятно, не знаете P. British Journal of Pharmacology, 166 (5), 1559–1567. doi: 10.1111 / j.1476-5381.2012.01931.x (ссылка на статью)

+1 к @MichaelLew, который дал вам хороший ответ. Возможно, я все еще могу внести свой вклад, предоставив способ мышления о Q2. Рассмотрим следующую ситуацию:

• Нулевая гипотеза верна. (Обратите внимание, что если нулевая гипотеза не верна, ошибки типа I невозможны, и неясно, какое значение имеет значение .) $p$
• $\alpha$ был установлен условно на . $0.05$
• Вычисленное значение составляет . $p$$0.01$

Теперь вероятность получить данные как экстремальные или более экстремальные, чем ваши данные, составляет 1% (это то, что означает значение ). Вы отвергли нулевую гипотезу, что делает ошибки типа I . Правда ли, что долгосрочная частота ошибок типа I в этой ситуации также составляет 1%, что многие люди могут интуитивно прийти к выводу? Ответ - нет . Причина в том, что если бы вы получили значение , вы бы все равно отклонили ноль . На самом деле, вы бы отклонили ноль, даже если бы было , и в долгосрочной перспективе, до этого большого значения произойдет$p$$p$$0.02$$p$$0.04\bar{9}$$p$$\approx$5% времени и все такие отклонения будут ошибками типа I. Таким образом, коэффициент ошибок типа I в долгосрочной перспективе составляет 5% (там, где вы установили ). $\alpha$

(Раскрытие информации: я не читал статью Джилла, поэтому не могу гарантировать, что это именно то, что он имел в виду, но имеет смысл утверждение о том, что значение [обязательно] не равно частоте ошибок типа I в долгосрочной перспективе. )$p$

Я хотел бы сделать комментарий, относящийся к «незначительности проверки значимости нулевой гипотезы», но который не отвечает на вопрос ОП.

На мой взгляд, главная проблема не в неправильном истолковании значения. Например, многие практики часто проверяют «значительную разницу», и они ошибочно полагают, что значительная разница означает, что существует «большая» разница. Точнее, они находятся в контексте «точной» нулевой гипотезы имеющей форму . Эта гипотеза будет отвергнута, когда даже для очень маленького когда размер выборки увеличивается. Но в реальном мире нет разницы между маленьким и (мы говорим, что есть эквивалент между маленьким и 0$p$$H_0$$H_0\colon\{\theta=0\}$$\theta=\epsilon$$\epsilon$$\epsilon$$0$$\epsilon$$0$ и проверка эквивалентности - путь в такой ситуации).