Мне было интересно, если кто-нибудь мог бы дать краткое изложение в отношении определений и использования значений p, уровня значимости и ошибки типа I.
Я понимаю, что значения p определяются как «вероятность получения тестовой статистики, по крайней мере, такой же экстремальной, как та, которую мы наблюдали на самом деле», тогда как уровень значимости - это просто произвольное пороговое значение, чтобы оценить, является ли значение p значительным или нет , Ошибка типа I - это ошибка отклоненной нулевой гипотезы, которая была верной. Однако я не уверен относительно разницы между уровнем значимости и ошибкой типа I, не являются ли они одним и тем же понятием?
Например, предположим очень простой эксперимент, в котором я подбрасываю монету 1000 раз и подсчитываю, сколько раз она приземляется на «головы». Моя нулевая гипотеза, H0, состоит в том, что головы = 500 (несмещенная монета). Затем я установил свой уровень значимости на альфа = 0,05.
Я переворачиваю монету 1000 раз, а затем вычисляю значение p, если значение p> 0,05, тогда я не могу отклонить нулевую гипотезу, а если значение p <0,05, то я отвергаю нулевую гипотезу.
Теперь, если бы я проводил этот эксперимент несколько раз, каждый раз вычисляя значение p и отклоняя или не отклоняя нулевую гипотезу, и сохраняя счет того, сколько я отклонил / не смог отклонить, то я бы в конечном итоге отверг 5% нулевых гипотез которые были на самом деле правдой, это правильно? Это определение ошибки типа I. Поэтому уровень значимости при проверке значимости Фишера, по сути, является ошибкой I типа при проверке гипотезы Неймана-Пирсона, если вы выполняли повторные эксперименты.
Теперь, что касается значений p, если бы я получил значение p 0,06 из моего последнего эксперимента, и я провел несколько экспериментов и посчитал все те, что я получил значение p от 0 до 0,06, то я бы тоже не имел 6% шанс отклонить истинную нулевую гипотезу?
Вы получаете хорошие ответы здесь от @MansT & @ gui11aume (+1 к каждому). Позвольте мне посмотреть, смогу ли я получить более четкие ответы на оба вопроса.
Могут быть случаи, когда вычисленное значение p не равно долгосрочной частоте ошибок типа I, в дополнение к тому факту, что частота ошибок типа I не обязательно равна уровню значимости. Рассмотрим таблицу непредвиденных обстоятельств 2x2 с этими наблюдаемыми значениями:
Таким образом, проблемы здесь заключаются в том, что с дискретными данными:
(Хотя вопрос не касается решения этих проблем), есть вещи, которые смягчают эти проблемы:
источник
Понятия действительно тесно связаны друг с другом.
Значение p - это самый низкий уровень значимости, при котором нулевая гипотеза будет принята . Таким образом, он говорит нам, «насколько значительным» является результат.
источник