Мета-анализ включает в себя ряд исследований, все из которых сообщили о значении P, превышающем 0,05. Возможно ли для общего метаанализа сообщить значение P менее 0,05? При каких обстоятельствах?
(Я почти уверен, что ответ - да, но мне нужна ссылка или объяснение.)
statistical-significance
meta-analysis
combining-p-values
Харви Мотульский
источник
источник
Ответы:
В теории да ...
Результаты отдельных исследований могут быть незначительными, но если смотреть вместе, результаты могут быть значительными.
В теории вы можете продолжить путем обработки результатовyi из исследования i , как и любой другой случайной величины.
Пусть - некоторая случайная величина (например, оценка из исследования i ). Тогда, если y i независимы и E [ y i ] = μ , вы можете последовательно оценить среднее с помощью:yi i yi E[yi]=μ
Добавляя больше предположений, пусть будет дисперсией оценки y i . Тогда вы можете эффективно оценить μ с помощью обратного взвешивания дисперсии:σ2я Yя μ
В любом из этих может быть статистически значим на каком - то уровне доверия , даже если отдельные оценки не являются.μ^
НО могут быть большие проблемы, вопросы, которые нужно знать ...
Если то метаанализ может не сходиться к μ (т.е. среднее значение метаанализа является противоречивой оценкой).Е[ уя] ≠ μ μ
Например, если есть предубеждение против публикации отрицательных результатов, этот простой метаанализ может быть ужасно непоследовательным и предвзятым! Это было бы все равно, что оценить вероятность того, что монета подбрасывает головы, наблюдая за бросками только там, где она не приземлилась!
и y j не могут быть независимыми. Например, если два исследования i и j были основаны на одних и тех же данных, то обработка y i и y j как независимой в мета-анализе может значительно недооценить стандартные ошибки и преувеличить статистическую значимость. Ваши оценки по-прежнему будут последовательными, но стандартные ошибки должны разумно учитывать взаимную корреляцию в исследованиях.Yя YJ я J Yя YJ
Объединение (1) и (2) может быть особенно плохим.
Например, метаанализ усредняющих опросов вместе имеет тенденцию быть более точным, чем любой отдельный опрос. Но усреднение опросов вместе все еще уязвимо для коррелированной ошибки. Что-то, что возникло на прошлых выборах, заключается в том, что молодые работники экзит-поллов могут иметь тенденцию брать интервью у других молодых людей, а не стариков. Если все выходные опросы дают одинаковую ошибку, то у вас неверная оценка, которая может показаться вам хорошей оценкой (выходные опросы коррелированы, потому что они используют один и тот же подход к проведению выходных опросов, и этот подход генерирует ту же ошибку).
Несомненно, люди, более знакомые с метаанализом, могут придумать лучшие примеры, более тонкие вопросы, более сложные методы оценки и т. Д., Но это касается одной из самых основных теорий и некоторых более серьезных проблем. Если различные исследования допускают независимую случайную ошибку, то метаанализ может быть невероятно мощным. Если ошибка является систематической в разных исследованиях (например, все недооценивают избирателей старшего возраста и т. Д.), То среднее значение исследований также будет выключено. Если вы недооцениваете, насколько коррелированы исследования или насколько коррелированы ошибки, вы фактически переоцениваете свой совокупный размер выборки и недооцениваете свои стандартные ошибки.
Есть также все виды практических вопросов последовательных определений и т.д ...
источник
Да. Предположим, у вас есть p-значений из N независимых исследований.N N
Тест Фишера
(РЕДАКТИРОВАТЬ - в ответ на полезный комментарий @ mdewey, приведенный ниже, важно различать различные мета-тесты. Я изложу случай другого мета-теста, упомянутого mdewey ниже)
Классический мета-тест Фишера (см. Fisher (1932), «Статистические методы для научных работников» ) статистика имеет нулевое распределение χ 2 2 N , так как - 2 ln ( U ) ~ χ 2 2 для равномерного с.в. U .
Пусть обозначить ( 1 - альфа ) -quantile из распределения нуля.χ22 N( 1 - α ) ( 1 - α )
Предположим, что все значения p равны , где, возможно, c > α . Тогда F = - 2 N ln ( c ) и F > χ 2 2 N ( 1 - α ), когда c < exp ( - χ 2 2 N ( 1 - α )с с > α F= - 2 Нпер( в ) F> χ22 N( 1 - α )
Например, дляα=0,05иN=20отдельные значенияpдолжны быть меньше
Конечно, мета-статистические тесты - это «только» «совокупный» нуль, что все отдельные нули являются истиной, который должен быть отклонен, как только один из нулей будет ложным.N
РЕДАКТИРОВАТЬ:
Вот график «допустимых» p-значений против , который подтверждает, что c растет в N , хотя, кажется, выравнивается при c ≈ 0.36 .N с N с ≈ 0,36
Обратный нормальный тест (Stouffer et al., 1949)
источник
Метод Л. Х. Типпетта описан в книге Методы статистики. 1931 (1-е изд) и метод Уилкинсона здесь в статье «Статистическое рассмотрение в психологическом исследовании»
источник