Насколько консервативна коррекция множественных тестов Бенджамини-Хохберга относительно общего числа сравнений? Например, если у меня есть список из 18 000 функций для двух групп, и я выполняю тест Вилкоксона, чтобы получить p-значение. Я корректирую это значение p, используя Бенджамини-Хохберга, и практически ничего не получается.
Я знаю, что коррекция Бонферрони может быть довольно консервативной по мере увеличения числа сравнений, имеет ли Бенджамини-Хохберг такое же свойство?
multiple-comparisons
p-value
user4673
источник
источник
Ответы:
Во-первых, вы должны понимать, что эти две многочисленные процедуры тестирования не контролируют одно и то же. Используя ваш пример, у нас есть две группы с 18 000 наблюдаемых переменных, и вы делаете 18 000 тестов, чтобы определить некоторые переменные, которые отличаются от одной группы к другой.
Поправка Бонферрони контролирует частоту ошибок Familywise , то есть вероятность, если предположить, что все 18 000 переменных имеют одинаковое распределение в двух группах, что вы ошибочно утверждаете, что «здесь у меня есть некоторые существенные различия». Обычно вы решаете, что если эта вероятность <5%, ваша претензия заслуживает доверия.
Коррекция Бенджамини-Хохберга контролирует частоту ложных открытий , то есть ожидаемую долю ложных срабатываний среди переменных, для которых вы заявляете о существовании разницы. Например, если при контроле FDR до 5% 20 тестов будут положительными, «в среднем» только 1 из этих тестов будет ложноположительным.
Теперь, когда количество сравнений возрастает ... ну, это зависит от количества маргинальных нулевых гипотез, которые верны. Но в принципе, с обеими процедурами, если у вас есть несколько, скажем, 5 или 10, действительно связанных переменных, у вас больше шансов обнаружить их среди 100 переменных, чем среди 1 000 000 переменных. Это должно быть достаточно интуитивно понятно. Нет способа избежать этого.
источник