Насколько меньшими могут быть значения

Вступление: отметив внимание, которое получил сегодня этот вопрос: « Может ли ANOVA быть значимым, если ни один из парных t-тестов не является? », Я подумал, что смогу перефразировать его интересным способом, который заслуживает своего собственного набора ответов. ,

Различные несоответствующие результаты (по номинальной стоимости) могут иметь место, когда статистическая значимость понимается как простая дихотомия и оценивается только на основе того, что выше, $p$ или $\alpha$ . Ответ @ Glen_b на вышеуказанный вопрос представляет собой полезный пример случая, когда:

• $F$ тест ANOVA дает $p_F<.05$ для одной независимой переменной (IV) с четырьмя уровнями, но
• $p_t>.08$ для всех$t$ тестов сдвумявыборками, которые сравнивают различия в одной и той же зависимой переменной (DV) среди наблюдений, соответствующих каждой паре четырех уровней IV.

Похожий случай возник, несмотря на поправки Бонферрони для специальных парных сравнений с помощью этого вопроса: повторные измерения Ановы значимы, но все множественные сравнения с поправкой Бонферрони не являются? Ранее упоминавшиеся случаи с несколько иным тестом множественной регрессии также существуют:

• Почему можно получить значительную статистику F (p <.001), но не значимые t-тесты регрессора? : $p_F<.001,p_{\beta t}>.09$
• Как регрессия может быть значимой, но все предикторы могут быть несущественными?
  • В @ whuber - х ответ , $p_F=.0003,p_{\beta t}>.09$

Держу пари , что в подобных случаях, некоторые (но не все) попарные сравнения (или коэффициентов регрессии критерии значимости) $p$ значения должны быть достаточно близки к $\alpha$ , если соответствующий Омнибус тест может достичь $p <\alpha$ . Я вижу, что это имеет место в первом примере @ Glen_b, где $F_{(3,20)}=3.19$ , $p_F=.046$ , а наибольшая попарная разница дает наименьшее $p_t=.054$ . Должно ли это быть в общем случае? Более конкретно :

Вопрос: Если ANOVA $F$ тест производит $p_F=.05$ для одного политомного эффекта IV на непрерывном DV, как высоко может быть самое низкое значение $p$ среди всех $t$ тестов двух выборок, которые сравнивают каждую пару уровней IV? Может ли минимальное попарное значение быть таким высоким, как $p_t=.50$ ?

_{Я приветствую ответы, которые касаются только этого конкретного вопроса . Однако, чтобы еще больше мотивировать этот вопрос, я разработаю и добавлю некоторые потенциально риторические вопросы. Не стесняйтесь решать и эти проблемы, и даже игнорировать конкретный вопрос, если хотите, особенно если на конкретный вопрос получен окончательный ответ.}

Значимость: подумайте, насколько менее важной будет разница между a и a p t = .06 , если бы статистическая значимость оценивалась непрерывно с точки зрения силы доказательств против нулевой гипотезы (я думаю, что подход Рона Фишера? ), а не в дихотомических терминах, как выше или ниже порогового значения α = 0,05 для приемлемой вероятности ошибки при выборе, следует ли отклонять нулевую оптовую продажу. « р- хакинг » - известная проблема, которая отчасти обязана своей известностью излишней уязвимости, представленной интерпретацией $p_F=.04$$p_t=.06$$\alpha=.05$$p$$p$значения в соответствии с обычной практикой дихотомизации значимости в эквивалентах «достаточно хорошо» и «недостаточно хорошо». Если бы кто-то выбрал эту практику и сосредоточился вместо этого на интерпретации значений как силы доказательств против нуля на непрерывном интервале, может ли комплексное тестирование быть несколько менее важным, если действительно заботятся о множественных парных сравнениях? Не обязательно бесполезно, поскольку любое разумно эффективное улучшение статистической точности, конечно, желательно, но ... если, например, наименьшее значение p для парного сравнения обязательно находится в пределах .10 от ANOVA (или другого сводного теста) $p$$p$$.10$$p$значение, разве это не делает омнибусный тест несколько более тривиальным, менее обязательным и даже более вводящим в заблуждение (в сочетании с существовавшим ранее недоразумением), особенно если не требуется особо контролировать в нескольких тестах?$\alpha$

И наоборот, если данные могут существовать таким образом, что омнибус , но все попарно p > .50 , разве это не должно мотивировать омнибус и контрастное тестирование на протяжении всей практики и педагогики? Мне кажется, что эта проблема должна также проинформировать об относительных достоинствах оценки статистической значимости в соответствии с дихотомией по сравнению с континуумом, поскольку дихотомическая интерпретирующая система должна быть более чувствительной к небольшим корректировкам, когда различия «незначительно значимы», тогда как ни одна из этих систем является безопасным с невыполнения теста омнибуса или настроить для множественных сравнений , если эта разница / регулировка может быть очень большой (например, р т - р F$p=.05$$p>.50$ в теории.$p_t-p_F>.40)$

_{Другие дополнительные сложности, которые следует учитывать или игнорировать - все, что делает ответ более простым и более полезным :}

• ^{Как высоко S для т s может быть , если, F , р < 0,05 вместо (например, р = 0,01 , 0,001 , ... )$p$$t$$F$$p<.05$$p=.01, .001,\dots$}
• ^{Чувствительность к числу уровней в политоме IV}
• ^{Чувствительность к неравномерности в значении парных различий (при всех )$p_t>p_F$}
  • ^{Ответ Уубера указывает на то, что включение небольших различий может маскировать большие различия.}
• ^{Различия между исправлениями различных омнибус-тестов для множественных сравнений}
  • ^{Смотрите также: Исправление для множественных сравнений в пределах предметов / повторных измерений ANOVA; чрезмерно консервативный?}
  • ^{С многократными IV, кажется, мультиколлинеарность может усугубить эту проблему .}
• ^{Ограниченные случаи, когда данные оптимально соответствуют всем предположениям классических параметрических тестов}
  • ^{Это ограничение может быть важно, чтобы этот вопрос не был спорным.}

Предполагая равные s [но см. Примечание 2 ниже] для каждой обработки в одностороннем формате, и что объединенная SD из всех групп используется в t- тестах (как это делается в обычных сравнительных оценках), максимально возможный Значение p для t- теста составляет 2 Φ ( - $n$$t$$p$$t$(здесьΦобозначаетN(0,1)cdf). Таким образом, ниртне может быть столь же высокимкак0,5. Интересно (и довольно причудливо), то0,1573связаны справедливо не только длярF=.05, нодля любого уровня значимости мы требуем дляF.$2\Phi(-\sqrt{2}) \approx .1573$$\Phi$$N(0,1)$$p_t$$0.5$$.1573$$p_F=.05$$F$

Обоснование таково: для данного диапазона выборочных средних , наибольшая возможный F статистика достигается , когда половина ˉ у я нахожусь на одном полюсе , а другая половине находятся на другом. Это представляет случай, когда F выглядит наиболее значимым, учитывая, что два средних отличаются не более чем на 2 a .$\max_{i,j}|\bar y_i - \bar y_j| = 2a$$F$$\bar y_i$$F$$2a$

Итак, без ограничения общности, предположим, что так что ˉ y i = ± a в этом граничном случае. И снова, без потери общности, предположим, что M S E = 1 , так как мы всегда можем масштабировать данные до этого значения. Теперь рассмотрим k означает (где k даже для простоты [но см. Примечание 1 ниже]), мы имеем F = ∑ n ˉ y 2 / ( k - 1 $\bar y_.=0$$\bar y_i=\pm a$$MS_E=1$$k$$k$ . ПолагаяpF=αтак, чтоF=Fα=Fα,k-1,k(n-1), получаемa=$F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$$p_F=\alpha$$F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ . Когда всеˉyiравны±a(и все ещеMSE=1), каждая ненулеваяtстатистика, таким образом, равнаt=2$a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$$\bar y_i$$\pm a$$MS_E=1$$t$$t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$. This is the smallest maximum $t$ value possible when $F=F_\alpha$.

Таким образом, вы можете просто попробовать разные случаи и n , вычислить t и связанный с ним p t . Но обратите внимание , что при заданном к , F α убывает в п [но смотри примечание 3 ниже]; кроме того, как п → ∞ , ( K - 1 ) F & alpha ; , к - 1 , к ( п - 1 ) → х 2 α , K - 1 ; так т $k$$n$$t$$p_t$$k$$F_\alpha$$n$$n\rightarrow\infty$$(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$$t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$. Note that $\chi^2/k=\frac{k-1}k \chi^2/(k-1)$ has mean $\frac{k-1}k$ and SD$\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$. So $\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$, regardless of $\alpha$, and the result I stated in the first paragraph above is obtained from asymptotic normality.

It takes a long time to reach that limit, though. Here are the results (computed using R) for various values of $k$, using $\alpha=.05$:

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

A few loose ends...

1. When k is odd: The maximum $F$ statistic still occurs when the $\bar y_i$ are all $\pm a$; however, we will have one more at one end of the range than the other, making the mean $\pm a/k$, and you can show that the factor $k$ in the $F$ statistic is replaced by $k-\frac 1k$. This also replaces the denominator of $t$, making it slightly larger and hence decreasing $p_t$.
2. Unequal $n$s: The maximum $F$ is still achieved with the $\bar y_i = \pm a$, with the signs arranged to balance the sample sizes as nearly equally as possible. Then the $F$ statistic for the same total sample size $N = \sum n_i$ will be the same or smaller than it is for balanced data. Moreover, the maximum $t$ statistic will be larger because it will be the one with the largest $n_i$. So we can't obtain larger $p_t$ values by looking at unbalanced cases.
3. A slight correction: I was so focused on trying to find the minimum $t$ that I overlooked the fact that we are trying to maximize $p_t$, and it is less obvious that a larger $t$ with fewer df won't be less significant than a smaller one with more df. However, I verified that this is the case by computing the values for $n=2,3,4,\ldots$ until the df are high enough to make little difference. For the case $\alpha=.05, k\ge 3$ I did not see any cases where the $p_t$ values did not increase with $n$. Note that the $df=k(n-1)$ so the possible df are $k,2k,3k,\ldots$ which get large fast when $k$ is large. So I'm still on safe ground with the claim above. I also tested $\alpha=.25$, and the only case I observed where the $.1573$ threshold was exceeded was $k=3,n=2$.