Бонферрони или Тьюки? Когда количество сравнений становится большим?

18

Чтение в поле Обнаружение статистики с использованием SPSS (3-е издание) Я был немного поражен специальными тестами в ANOVA. Для тех, кто хочет контролировать частоту ошибок типа I, он предлагает Бонферрони или Тьюки и говорит (стр. 374):

Бонферрони обладает большей силой, когда количество сравнений невелико, тогда как Тьюки более мощен при тестировании большого количества средств.

Где провести черту между малым и большим количеством средств?

Parbury
источник
6
В нижней части следующей веб-страницы из NIST / Sematech itl.nist.gov/div898/handbook/prc/section4/prc473.htm,it рекомендуется предварительно выполнить оба теста и взять меньший из двух интервалов. Я нашел похожие комментарии у Джонсона и Вихерна о выполнении MANOVA.
скенектади
1
@schenectady Хороший ответ! Почему бы вам не вставить его в ответ? Кстати, ссылка повреждена в вашем комментарии; правильный - itl.nist.gov/div898/handbook/prc/section4/prc473.htm .
whuber
1
Первый краткий момент: мощность напрямую связана с частотой ошибок типа II, а не с типом I. Теперь простите меня, но я собираюсь высказать некоторые мнения. Можете ли вы рассматривать то, что вы делаете, как «игровую систему», пытаясь настроить ее так, чтобы больше результатов классифицировалось как sig. или нонсиг.? Эти бинарные суждения намного менее информативны и, возможно, намного более вводят в заблуждение, чем отчеты о фактических величинах эффекта - в вашем случае, относительно групповых различий в средствах. Мне нравится видеть, как люди используют p-значения для украшения результатов, а не для их структурирования. Конец редакции - спорь!
rolando2
2
«Внизу следующей веб-страницы из NIST / Sematech itl.nist.gov/div898/handbook/prc/section4/prc473.htm рекомендуется предварительно выполнить оба теста и взять меньший из двух интервалов Я нашел похожие комментарии у Джонсона и Вихерна о выполнении MANOVA. - @schenectady 11 апреля '11 в 12:31 "Это считается извлечением данных и не должно выполняться. Выбор Тьюки против Бонферрони должен быть сделан до анализа.
Похоже, что онлайн-документация Minitab предлагает аналогичные советы support.minitab.com/en-us/minitab/17/topic-library/…
N Brouwer

Ответы:

6

В дополнение к полезной ссылке, упомянутой в комментариях @schenectady.

Я бы также добавил, что исправление Бонферрони относится к более широкому классу проблем. Насколько я знаю, HSD Тьюки применяется только к ситуациям, когда вы хотите проверить все возможные парные сравнения, тогда как поправка Бонферрони может быть применена к любому набору тестов гипотез.

В частности, коррекция Бонферрони полезна, когда у вас небольшой набор запланированных сравнений, и вы хотите контролировать частоту ошибок Типа I. Это также позволяет составные сравнения. Например, у вас есть 6-сторонняя ANOVA, и вы хотите сравнить среднее для групп 1, 2 и 3 с группой 4, и вы хотите сравнить группу 5 с 6.

Для дальнейшей иллюстрации можно применить поправку Бонферрони для оценки значимости корреляций в матрице корреляций или набора основных и взаимодействующих эффектов в ANOVA. Однако такая коррекция обычно не применяется, по-видимому, по той причине, что уменьшение частоты ошибок типа I приводит к недопустимому снижению мощности.

Джером англим
источник
просто любопытно, если у вас есть цитаты: «Однако такая коррекция обычно не применяется, по-видимому, по той причине, что снижение частоты ошибок типа I приводит к недопустимому снижению мощности». Благодаря тонну!
Добро пожаловать на сайт. Это должно быть опубликовано как комментарий, а не как ответ.
Питер Флом - Восстановить Монику
@Джессика. Нет, у меня нет цитаты для этого требования. Но это легко показать с помощью моделирования, формул или даже просто базовых знаний о факторах, которые влияют на статистическую мощность (то есть такие факторы включают альфа).
Джером Энглим