Йоханссон (2011) в « Приветствую невозможное: p-значения, доказательства и вероятность » (здесь также ссылка на журнал ) утверждает, что более низкие значения часто рассматриваются как более сильные доказательства против нуля. Йоханссон предполагает, что люди будут считать доказательства против нуля более сильными, если их статистический тест выдает значение , чем если бы их статистический тест выдает значение . Йоханссон перечисляет четыре причины, по которым значение нельзя использовать в качестве доказательства против нуля:р 0,01 р 0,45 р
- равномерно распределен по нулевой гипотезе и поэтому никогда не может указывать на доказательство нулевого.
- обусловлен исключительно нулевой гипотезой и, следовательно, не подходит для количественной оценки доказательств, поскольку доказательства всегда являются относительными в том смысле, что являются доказательствами за или против гипотезы относительно другой гипотезы.
- обозначает вероятность получения доказательств (с нулевым значением), а не силу доказательств.
- зависит от ненаблюдаемых данных и субъективных намерений и поэтому подразумевает, учитывая доказательную интерпретацию, что доказательная сила наблюдаемых данных зависит от того, чего не произошло, и от субъективных намерений.
К сожалению, я не могу получить интуитивное понимание из статьи Йоханссона. Для меня значение указывает на то, что вероятность того, что нулевое значение истинно, меньше, чем значение . Почему более низкие значения не являются более сильным доказательством против нуля 0,01 р 0,45 р
Ответы:
Моя личная оценка его аргументов:
Его предложение использовать отношение правдоподобия как меру доказательств, на мой взгляд, является хорошим (но здесь идея байесовского фактора носит более общий характер), но в контексте, в котором он приводит это, немного странно: сначала он уходит Основы тестирования Fisherian, где нет альтернативной гипотезы для расчета отношения правдоподобия. Но качестве доказательства против Нулевой является фишерианской. Отсюда он смущает Фишера и Неймана-Пирсона. Во-вторых, большинство тестовых статистик, которые мы используем, являются (функциями) отношения правдоподобия, и в этом случае является преобразованием отношения правдоподобия. Как говорит Косма Шализи :рp p
Здесь - плотность в состоянии «сигнал», а - плотность в состоянии «шум». Мера для «достаточно вероятного» здесь будет есть . Обратите внимание, что в правильном тесте Неймана-Пирсона заменяется фиксированнымp ( x ) P ( q ( X ) / p ( x ) > t o b s ∣ H 0 ) p t o b s t ( s )q(x) p(x) P(q(X)/p(x)>tobs∣H0) p tobs t(s) P(q(X)/p(x)>t(s)∣H0)=α
источник
Причина, по которой аргументы, подобные аргументам Йоханссона, часто используются повторно, связана с тем фактом, что значения P являются показателями доказательств против нуля, но не являются показателями доказательств. Доказательства имеют больше аспектов, чем любое отдельное число, которое можно измерить, и поэтому всегда существуют аспекты взаимосвязи между P-значениями и доказательствами, которые людям трудно найти.
Я рассмотрел многие из аргументов, использованных Йоханссоном, в документе, который показывает взаимосвязь между P-значениями и функциями правдоподобия и, таким образом, доказательствами: http://arxiv.org/abs/1311.0081 К сожалению, этот документ трижды отклонялся, хотя его аргументы и доказательства для них не были опровергнуты. (Кажется, что это неприятно для судей, которые придерживаются мнения, подобного мнению Йоханссона, а не ошибаются.)
источник
Добавление к хорошему ответу @ Momo:
источник
Говорит ли Йоханссон о p-значениях из двух разных экспериментов? Если это так, сравнение значений p может быть похоже на сравнение яблок с отбивными из баранины. Если в эксперименте «А» задействовано огромное количество образцов, даже небольшая несущественная разница может быть статистически значимой. Если в эксперименте «В» участвуют только несколько образцов, важное различие может быть статистически незначимым. Еще хуже (именно поэтому я сказал, что ягненок отбирает, а не апельсины), весы могут быть абсолютно несопоставимы (пси в одном и квт в час в другом).
источник