«Намерение исследователя» и пороговые значения / p-значения

Я читаю слайды Джона Крушке «Анализ байесовских данных» , но на самом деле у меня есть вопрос о его интерпретации t-тестов и / или всей основы тестирования значимости нулевой гипотезы. Он утверждает, что p-значения плохо определены, потому что они зависят от намерений следователя.

В частности, он приводит пример (страницы 3-6) двух лабораторий, которые собирают идентичные наборы данных, сравнивая две обработки. Одна лаборатория обязуется собирать данные от 12 субъектов (по 6 на условие), а другая собирает данные в течение фиксированного периода времени, что также дает 12 субъектов. Согласно слайдам, критическое значение для отличается между этими двумя схемами сбора данных: для первой, но для последней !р < 0,05 т крит = 2,33 т крит = $t$$p<0.05$$t_{\textrm{crit}}=2.33$$t_{\textrm{crit}}=2.45$

В блоге, который я сейчас не могу найти, предполагается, что сценарий с фиксированной продолжительностью имеет больше степеней свободы, поскольку они могли собирать данные от 11, 13 или любого другого числа субъектов, в то время как сценарий с фиксированным N - определение, имеет .$N=12$

Может ли кто-нибудь, пожалуйста, объясните мне:

• Почему критическое значение будет отличаться между этими условиями?

• (Предполагая, что это проблема) Как можно было бы исправить или сравнить эффекты различных критериев остановки?

Я знаю, что установка критериев остановки на основе значимости (например, выборка до ) может повысить вероятность ошибки типа I, но здесь это не происходит, поскольку ни одно из правил остановки не зависит от результата Анализ.$p<0.05$

Вот еще немного информации: http://doingbayesiandataanalysis.blogspot.com/2012/07/sampling-distributions-of-t-when.html

Более полное обсуждение приведено здесь: http://www.indiana.edu/~kruschke/BEST/. В этой статье рассматриваются значения p для остановки при пороге N, остановки при пороговой продолжительности и остановки при пороговом значении t.

Я , наконец , выследили бумагу , связанную с горками: Kruschke (2010) , также доступны непосредственно от автора (через CiteSeerX) здесь , так как журнал не так широко проводится. Объяснение немного прозаично, но я все еще не уверен, что куплю это.

В случае фиксированного N критическое значение вычисляется следующим образом: 2 N выборок случайным образом выбираются из (одной и той же) совокупности, и вычисляется значение t . Этот процесс повторяется много раз для создания нулевого распределения. Наконец, т с т я т устанавливается , чтобы быть 95 - й процентиль этого распределения.$t$$2N$$t$$t_{crit}$

В случае фиксированной продолжительности он предполагает, что субъекты достигают средней скорости . Нулевое распределение строится путем повторения двух шагов. На первом этапе количество субъектов для каждого условия N 1 и N 2 берется из распределения опционов с параметром λ . Затем для вычисления t- значения используются случайные выборки N 1 и N 2 из совокупности. Это повторяется много раз, и т с т я т устанавливается , чтобы быть 95 - й процентиль этого распределения.$\lambda$$N_1$$N_2$$\lambda$$N_1$$N_2$$t$$t_{crit}$

Это кажется немного ... дерзким ... для меня. Насколько я понимаю, нет ни одного распределения; вместо этого это семейство распределений, форма которых частично определяется параметром степеней свободы. Для условия с фиксированным N в каждой группе имеется N субъектов, и подходящее значение t для непарного критерия Стьюдента - это число с 2 N - 2 степенями свободы, что, по-видимому, и воспроизводит его симуляция. $t$$N$$N$$t$$2N-2$

В другом состоянии кажется, что « » -подобное распределение на самом деле является комбинацией выборок из множества различных t- распределений, в зависимости от конкретных розыгрышей. Установив λ = N , можно получить средние степени свободы равными 2 N - N , но этого недостаточно. Например, среднее значение t -распределений для ν = 1 и ν = 5 , по-видимому, не является t -распределением с 3 степенями свободы.$t$$t$$\lambda=N$$2N-N$$t$$\nu=1$$\nu=5$$t$

В итоге:

• $t_{crit}$
• $t$
• Я не уверен, что это действительно проблема, но был бы рад прочитать / повысить / принять ответы, если кто-то думает иначе.