Почему плохо учить студентов, что р-значения - это вероятность того, что результаты обусловлены случайностью?

Может, кто-нибудь, пожалуйста, предложит хорошее краткое объяснение, почему не стоит учить студентов, что значение р является вероятным (их результаты обусловлены [случайным] шансом). Насколько я понимаю, р-значение является вероятным (получение более экстремальных данных | нулевая гипотеза верна).

Мой реальный интерес заключается в том, что вредно говорить им, что это первое (кроме того факта, что это просто не так).

У меня другое понимание смысла неправильного утверждения, чем у @Karl. Я думаю, что это утверждение о данных, а не о нуле. Я понимаю, что спрашиваю о вероятности получения вашей оценки случайно. Я не знаю, что это значит - это не очень точное заявление.

Но я понимаю, что, вероятно, подразумевается под вероятностью получения моей оценки случайно, учитывая, что истинная оценка равна определенной величине. Например, я могу понять, что значит получить очень большую разницу в средней высоте между мужчинами и женщинами, учитывая, что их средняя высота на самом деле одинакова. Это хорошо указано. И это то, что дает значение р. Чего не хватает в неправильном утверждении, так это того условия, что ноль истинен

Теперь мы можем возразить, что это не идеальный оператор (например, вероятность получения точного значения для оценки равна 0). Но это намного лучше, чем то, как большинство интерпретирует значение p.

Ключевой момент, который я повторяю снова и снова, когда я преподаю проверку гипотез: «Первый шаг - это предположить, что нулевая гипотеза верна. Если люди помнят это, это очень хорошо.

Я видел эту интерпретацию много (возможно, чаще, чем правильную). Я интерпретирую, что «их результаты обусловлены [случайным] шансом» как « истинно», и в действительности они говорят, что [что на самом деле должно быть ; скажем, «учитывая то, что мы видели (данные), какова вероятность того, что действует только шанс?»] Это может быть значимым утверждением (если вы хотите назначать приоры и делать Байес), но это не -значение . $\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ может сильно отличаться от p-значения, и поэтому интерпретация p-значения таким способом может серьезно ввести в заблуждение.

Простейшая иллюстрация: скажем, предыдущий, довольно мал, но у него довольно мало данных, и поэтому значение p довольно длинное (скажем, 0,3), но заднее, , все равно будет довольно маленьким. [Но, может быть, этот пример не так интересен.]$\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$

Я добавлю поздний ответ с точки зрения (бывшего) студента: ИМХО вред нельзя отделить от его неправильности.

Этот тип неправильных «дидактических аппроксимаций / сокращений» может создать большую путаницу для студентов, которые понимают, что не могут логически понять утверждение, но, предполагая, что то, чему их учат, правильно, они не понимают, что не способны понять его. потому что это не правильно.

Это не касается студентов, которые просто запоминают представленные им правила. Но это требует от студентов, которые учатся на понимании, быть достаточно хорошими, чтобы

• прийти к правильному решению самостоятельно и
• быть достаточно хорошими, чтобы они могли быть уверены, что они правы
• и сделать вывод, что их учат чушь (по некоторым якобы дидактическим причинам).

Я не говорю, что нет действительных дидактических ярлыков. Но ИМХО, когда такой ярлык используется, об этом следует упомянуть (например, как «для простоты аргумента мы предполагаем / приближаем это ...»).
В этом конкретном случае, однако, я думаю, что это слишком вводит в заблуждение, чтобы быть полезным.

Обращаясь непосредственно к вопросу: где вред?

На мой взгляд, ответ на этот вопрос заключается в обратном утверждении: «Р-значение - это вероятность того, что результаты обусловлены случайной случайностью». Если кто-то верит в это, то он, вероятно, также верит в следующее: «[1- (p-значение)] - это вероятность того, что результаты НЕ связаны со случайной случайностью».

Тогда вред заключается во втором утверждении, потому что, учитывая то, как работает мозг большинства людей, это утверждение сильно переоценивает, насколько мы должны быть уверены в конкретных значениях оценочного параметра.

Вот простой пример, который я использую:

Предположим, что наша нулевая гипотеза состоит в том, что мы подбрасываем двуглавую монету (так что prob (глав) = 1). Теперь мы переворачиваем монету один раз и получаем головы, p-значения для этого равны 1, значит ли это, что у нас есть 100% шанс получить 2-головую монету?

Хитрость заключается в том, что если бы мы перевернули хвосты, то значение p было бы равно 0, а вероятность наличия двуглавой монеты была бы равна 0, поэтому они соответствуют в этом случае, но не выше. Значение p, равное 1 выше, просто означает, что то, что мы наблюдали, полностью соответствует гипотезе о двуглавой монете, но это не доказывает, что монета является двуглавой.

Кроме того, если мы делаем статистику частых случаев, то нулевая гипотеза является либо Истинной, либо Ложной (мы просто не знаем, какие именно), и делать (частые) вероятностные утверждения о нулевой гипотезе бессмысленно. Если вы хотите поговорить о вероятности гипотезы, тогда сделайте правильную байесовскую статистику, используйте байесовское определение вероятности, начните с априорной и вычислите апостериорную вероятность того, что гипотеза верна. Только не путайте p-значение с байесовским апостериором.

Хорошо, другой, немного другой взгляд на это:

Первой основной проблемой является фраза «из-за [случайного] случая». Идея неопределенного «случайности» естественна для студентов, но она опасна для ясного осмысления неопределенности и катастрофична для ведения разумной статистики. С чем-то вроде последовательности бросков монеты легко предположить, что «шанс» описывается биномиальной установкой с вероятностью 0,5. В этом наверняка есть определенная естественность, но со статистической точки зрения это не более естественно, чем допустить 0,6 или что-то еще. А для других менее «очевидных» примеров, например, с использованием реальных параметров, совершенно бесполезно думать о том, как будет выглядеть «шанс».

Что касается вопроса, ключевой идеей является понимание того, что - то из «случайности» описывается Н0, т.е. то , что фактическая вероятностные / имена DGP H0. Как только эта концепция введена в действие, студенты, наконец, перестают говорить о том, что происходит «случайно», и начинают спрашивать, что такое H0 на самом деле. (Они также выясняют, что вещи могут соответствовать довольно большому разнообразию Hs, поэтому они получают преимущество на доверительных интервалах с помощью инвертированных тестов).

Вторая проблема заключается в том, что если вы находитесь на пути к определению p-значений Фишером, вы должны (imho) всегда сначала объяснять это с точки зрения согласованности данных с H0, потому что смысл p заключается в том, чтобы увидеть это, а не интерпретировать область хвоста как некая «случайная» деятельность (или, если честно, вообще ее интерпретировать). Очевидно, это чисто риторический акцент, но, похоже, это помогает.

Короче говоря, вред состоит в том, что этот способ описания вещей не будет обобщать ни одну нетривиальную модель, о которой они могли бы впоследствии попытаться подумать. В худшем случае это может лишь добавить к загадочности, которую изучение статистики уже порождает у тех людей, на которых ориентированы такие обманчивые описания.

Если я разберусь, «р-значение - это вероятность того, что эффект обусловлен случайностью», это, похоже, подразумевает, что эффект вызван случайностью. Но каждый эффект частично вызван случайностью. На уроке статистики, где объясняется необходимость попытаться увидеть случайную изменчивость, это довольно волшебное и чрезмерное утверждение. Он наделяет p-значения полномочиями, которых у них нет.

Если в конкретном случае вы определяете случайность как нулевую гипотезу, вы утверждаете, что значение p дает вероятность того, что наблюдаемый эффект вызван нулевой гипотезой. Это кажется очень близким к правильному утверждению, но утверждение, что условие вероятности является причиной этой вероятности, снова превосходит все ожидания. Правильное утверждение, что p-значение - это вероятность эффекта, если нулевая гипотеза верна, не приписывает причину нулевому эффекту. Причины различны, включая истинный эффект, изменчивость вокруг эффекта и случайный случай. Значение p не измеряет вероятность любого из них.