Как получить объединенные p-значения в тестах, выполненных в нескольких вмененных наборах данных?

11

Используя Amelia в R, я получил несколько вмененных наборов данных. После этого я выполнил повторный тест в SPSS. Теперь я хочу объединить результаты испытаний. Я знаю, что могу использовать правила Рубина (реализованные через любой пакет множественного вменения в R) для объединения средств и стандартных ошибок, но как мне объединить p-значения? Является ли это возможным? Есть ли в R функция для этого? Заранее спасибо.

wisc88
источник
Возможно, вы захотите проверить информацию о мета-анализе p-значения. Хорошая отправная точка: en.wikipedia.org/wiki/Fisher%27s_method
user29889

Ответы:

13

Да , это возможно, и да, есть Rфункции, которые это делают. Вместо вычисления р-значений повторных анализов вручную, вы можете использовать пакет Zelig, который также упоминается в виньетка в Amelia-package ( для более информативного метода видеть мое обновление ниже ). Я буду использовать пример из Amelia-vignette, чтобы продемонстрировать это:

library("Amelia")
data(freetrade)
amelia.out <- amelia(freetrade, m = 15, ts = "year", cs = "country")

library("Zelig")
zelig.fit <- zelig(tariff ~ pop + gdp.pc + year + polity, data = amelia.out$imputations, model = "ls", cite = FALSE)
summary(zelig.fit)

Это соответствующий вывод, включая :п

  Model: ls
  Number of multiply imputed data sets: 15 

Combined results:

Call:
lm(formula = formula, weights = weights, model = F, data = data)

Coefficients:
                Value Std. Error t-stat  p-value
(Intercept)  3.18e+03   7.22e+02   4.41 6.20e-05
pop          3.13e-08   5.59e-09   5.59 4.21e-08
gdp.pc      -2.11e-03   5.53e-04  -3.81 1.64e-04
year        -1.58e+00   3.63e-01  -4.37 7.11e-05
polity       5.52e-01   3.16e-01   1.75 8.41e-02

For combined results from datasets i to j, use summary(x, subset = i:j).
For separate results, use print(summary(x), subset = i:j).

zeligможет соответствовать множеству моделей, отличных от наименьших квадратов.

Чтобы получить доверительные интервалы и степени свободы для ваших оценок, вы можете использовать mitools:

library("mitools")
imp.data <- imputationList(amelia.out$imputations)
mitools.fit <- MIcombine(with(imp.data, lm(tariff ~ polity + pop + gdp.pc + year)))
mitools.res <- summary(mitools.fit)
mitools.res <- cbind(mitools.res, df = mitools.fit$df)
mitools.res

Это даст вам доверительные интервалы и долю общей дисперсии, которая относится к отсутствующим данным:

              results       se    (lower    upper) missInfo    df
(Intercept)  3.18e+03 7.22e+02  1.73e+03  4.63e+03     57 %  45.9
pop          3.13e-08 5.59e-09  2.03e-08  4.23e-08     19 % 392.1
gdp.pc      -2.11e-03 5.53e-04 -3.20e-03 -1.02e-03     21 % 329.4
year        -1.58e+00 3.63e-01 -2.31e+00 -8.54e-01     57 %  45.9
polity       5.52e-01 3.16e-01 -7.58e-02  1.18e+00     41 %  90.8

Конечно, вы можете просто объединить интересные результаты в один объект:

combined.results <- merge(mitools.res, zelig.res$coefficients[, c("t-stat", "p-value")], by = "row.names", all.x = TRUE)

Обновить

Поработав, я нашел более гибкий способ получения всей необходимой информации с помощью mice-package. Чтобы это работало, вам нужно изменить as.mids()-функцию пакета . Используйте версию Герко, опубликованную в моем последующем вопросе :

as.mids2 <- function(data2, .imp=1, .id=2){
  ini <- mice(data2[data2[, .imp] == 0, -c(.imp, .id)], m = max(as.numeric(data2[, .imp])), maxit=0)
  names  <- names(ini$imp)
  if (!is.null(.id)){
    rownames(ini$data) <- data2[data2[, .imp] == 0, .id]
  }
  for (i in 1:length(names)){
    for(m in 1:(max(as.numeric(data2[, .imp])))){
      if(!is.null(ini$imp[[i]])){
        indic <- data2[, .imp] == m & is.na(data2[data2[, .imp]==0, names[i]])
        ini$imp[[names[i]]][m] <- data2[indic, names[i]]
      }
    } 
  }
  return(ini)
}

С этим определением вы можете продолжить анализ вмененных наборов данных:

library("mice")
imp.data <- do.call("rbind", amelia.out$imputations)
imp.data <- rbind(freetrade, imp.data)
imp.data$.imp <- as.numeric(rep(c(0:15), each = nrow(freetrade)))
mice.data <- as.mids2(imp.data, .imp = ncol(imp.data), .id = NULL)

mice.fit <- with(mice.data, lm(tariff ~ polity + pop + gdp.pc + year))
mice.res <- summary(pool(mice.fit, method = "rubin1987"))

Это даст вам все результаты , которые вы получите , используя Zeligи mitoolsи многое другое:

                  est       se     t    df Pr(>|t|)     lo 95     hi 95 nmis   fmi lambda
(Intercept)  3.18e+03 7.22e+02  4.41  45.9 6.20e-05  1.73e+03  4.63e+03   NA 0.571  0.552
pop          3.13e-08 5.59e-09  5.59 392.1 4.21e-08  2.03e-08  4.23e-08    0 0.193  0.189
gdp.pc      -2.11e-03 5.53e-04 -3.81 329.4 1.64e-04 -3.20e-03 -1.02e-03    0 0.211  0.206
year        -1.58e+00 3.63e-01 -4.37  45.9 7.11e-05 -2.31e+00 -8.54e-01    0 0.570  0.552
polity       5.52e-01 3.16e-01  1.75  90.8 8.41e-02 -7.58e-02  1.18e+00    2 0.406  0.393

Обратите внимание, что при помощи pool()вы также можете вычислить с скорректированным для небольших выборок, опуская -параметр. Что еще лучше, теперь вы также можете рассчитать и сравнить вложенные модели:пdеmethodр2

pool.r.squared(mice.fit)

mice.fit2 <- with(mice.data, lm(tariff ~ polity + pop + gdp.pc))
pool.compare(mice.fit, mice.fit2, method = "Wald")$pvalue
crsh
источник
1
Отличный ответ, просто хотел указать на небольшую опечатку, я думаю, вы имели в виду mice.res <- summary(pool(mice.fit, method = "rubin1987")).
FrankD
Хороший улов. Я исправил опечатку.
2015 г.
8

Обычно вы берете значение p, применяя правила Рубина к обычным статистическим параметрам, таким как веса регрессии. Таким образом, часто нет необходимости напрямую объединять p-значения. Кроме того, статистика отношения правдоподобия может быть объединена для сравнения моделей. Процедуры объединения других статистических данных можно найти в моей книге «Гибкое исчисление отсутствующих данных», глава 6.

В тех случаях, когда нет известного распределения или метода, существует неопубликованная процедура Licht и Rubin для односторонних тестов. Я использовал эту процедуру для объединения p-значений из wilcoxon()процедуры, но она проста и понятна для адаптации к другим применениям.

Используйте процедуру, приведенную ниже, ТОЛЬКО если все остальное терпит неудачу, поскольку на данный момент мы мало знаем о его статистических свойствах.

lichtrubin <- function(fit){
    ## pools the p-values of a one-sided test according to the Licht-Rubin method
    ## this method pools p-values in the z-score scale, and then transforms back 
    ## the result to the 0-1 scale
    ## Licht C, Rubin DB (2011) unpublished
    if (!is.mira(fit)) stop("Argument 'fit' is not an object of class 'mira'.")
    fitlist <- fit$analyses
        if (!inherits(fitlist[[1]], "htest")) stop("Object fit$analyses[[1]] is not an object of class 'htest'.")
    m <- length(fitlist)
    p <- rep(NA, length = m)
    for (i in 1:m) p[i] <- fitlist[[i]]$p.value
    z <- qnorm(p)  # transform to z-scale
    num <- mean(z)
    den <- sqrt(1 + var(z))
    pnorm( num / den) # average and transform back
}
Стеф ван Буурен
источник
@ Stef van Buuren Что вы имеете в виду, когда «берете p-значение, применяя правила Рубина к обычным статистическим параметрам, таким как веса регрессии»? Как pool() функция в вашем пакете ( кстати, отличная) достигает объединенного p-значения?
llewmills