Почему обнаружение небольших эффектов в больших исследованиях указывает на предвзятость публикации?

32

В нескольких методологических документах (например, Egger et al 1997a, 1997b) обсуждается систематическая ошибка публикации, выявленная метаанализом с использованием графиков воронки, таких как приведенная ниже. Воронкообразный участок бета-блокаторов при инфаркте миокарда

Далее в статье 1997b говорится, что «при наличии предвзятости публикации ожидается, что из опубликованных исследований самые большие из них сообщат о наименьших эффектах». Но почему это так? Мне кажется, что все это докажет то, что мы уже знаем: небольшие эффекты обнаруживаются только при больших размерах выборки ; ничего не говоря об исследованиях, которые остались неопубликованными.

Кроме того, в цитируемой работе утверждается, что асимметрия, которая визуально оценивается на воронкообразном графике, «указывает на то, что была выборочная не публикация небольших исследований с менее ощутимой выгодой». Но, опять же , я не понимаю , как любые особенности исследований , которые были опубликованы может возможно сказать нам что - нибудь (позволяют нам сделать выводы) о работах , которые были не опубликованы!

Справочные материалы
Egger, M., Smith, GD & Phillips, AN (1997). Метаанализ: принципы и процедуры . BMJ, 315 (7121), 1533-1537.

Эггер М., Смит Г.Д., Шнайдер М. и Миндер С. (1997). Смещение в метаанализе выявляется с помощью простого графического теста . BMJ , 315 (7109), 629-634.

z8080
источник
Я не думаю, что у вас это правильно. Возможно, ответ на эти вопросы и ответы может помочь stats.stackexchange.com/questions/214017/…
mdewey
7
Для небольшого исследования, которое будет опубликовано вообще, оно должно показать большой эффект независимо от того, каков истинный размер эффекта.
Эйнар

Ответы:

23

N(.01,.1)

p<.05

Как вы можете видеть, при предвзятости публикаций существует сильная тенденция для небольших исследований переоценивать размеры эффекта, а для более крупных - сообщать о величинах эффекта, более близких к истине.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Создано 2019-02-20 пакетом представлением (v0.2.1)

Эйнар
источник
1
Отличный момент, действительно помогает понять это интуитивно, спасибо!
z8080
2
+1 Это изображение стоит тысячи слов и хорошо описывает проблему. Этот тип смещения может быть даже обнаружен, когда истинный размер эффекта равен 0.
Подрыватель
29

Во-первых, нам нужно подумать о том, что такое «предвзятость публикации» и как она повлияет на то, что в действительности превращается в литературу.

p<0.05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

θ|θ^| θ^|θ| на самом деле значительно меньше, чем то, что мы обычно видим из меньших экспериментов, которые фактически делают это в публикацию.

|θ^| SE(θ^)p<0.05

Клифф AB
источник
nSE(θ)|θ|SE(θ)=SD(θ)nSE(θ)SE
19

Прочитайте это утверждение по-другому:

Если нет смещения публикации, размер эффекта должен быть независимым от размера исследования.

То есть, если вы изучаете одно явление, размер эффекта - это свойство явления, а не выборка / исследование.

Оценки величины эффекта могут (и будут) варьироваться в зависимости от исследования, но если есть систематическое уменьшение размера эффекта с увеличением размера исследования , это говорит о наличии предвзятости. Все дело в том, что эта взаимосвязь предполагает, что существуют дополнительные небольшие исследования, показывающие низкий размер эффекта, которые не были опубликованы, и если они были опубликованы и, следовательно, могли быть включены в метаанализ, общее впечатление было бы, что размер эффекта меньше чем то, что оценивается по опубликованному подмножеству исследований.

Дисперсия оценок размера эффекта в разных исследованиях будет зависеть от размера выборки, но вы должны увидеть одинаковое количество заниженных и завышенных оценок при малых размерах выборки, если не было смещения.

Брайан Краузе
источник
1
Но действительно ли правильно говорить, что «если нет предвзятости публикации, размер эффекта не должен зависеть от размера исследования»? Это верно, конечно, когда вы ссылаетесь на истинный базовый эффект, но я думаю, что они имеют в виду предполагаемый эффект. Величина эффекта , что это зависит от размера исследования (предполагая смещения) сводится к линейному зависимости в этой диаграмме рассеяния (высокая корреляция). Это то, чего я лично не видел ни на одном из воронкообразных графиков, хотя, конечно, многие из этих воронкообразных графиков действительно подразумевали, что существовал уклон.
z8080
2
@ z8080 Вы правы, только если оценки среднего и стандартного отклонения несмещены, оценочный размер эффекта будет полностью независим от размера исследования, если нет смещения публикации. Поскольку стандартное отклонение выборки смещено, в оценках размера эффекта будет некоторое смещение, но это смещение мало по сравнению с уровнем смещения в исследованиях, на которые ссылаются Egger et al. В своем ответе я рассматриваю это как незначительное, предполагая, что размер выборки достаточно велик, чтобы оценка SD была почти беспристрастной, и поэтому считаю, что она не зависит от размера исследования.
Брайан Краузе
2
@ z8080 Дисперсия оценок размера эффекта будет зависеть от размера выборки, но вы должны увидеть одинаковое количество заниженных и завышенных оценок при низких размерах выборки.
Брайан Краузе
2
«Оценки величины эффекта могут (и будут) варьироваться в зависимости от исследования, но при наличии систематической взаимосвязи между величиной эффекта и размером исследования» Эта формулировка немного неясна относительно разницы между зависимостью и величиной эффекта. Распределение размера эффекта будет различным для разного размера выборки и, следовательно, не будет зависеть от размера выборки, независимо от того, есть ли смещение. Смещение является систематическим направлением зависимости.
накопление
@ Аккумуляция Исправляет ли мое редактирование отсутствие ясности, которое вы видели?
Брайан Краузе