Какая доля повторных экспериментов будет иметь величину эффекта в пределах 95% доверительного интервала первого эксперимента?

Давайте придерживаться идеальной ситуации со случайной выборкой, гауссовым населением, равными дисперсиями, без P-хакерства и т. Д.

Шаг 1. Вы проводите эксперимент, скажем, сравнивая два выборочных средних, и вычисляете 95% доверительный интервал для разницы между двумя совокупными средними.

Шаг 2. Вы проводите еще много экспериментов (тысячи). Разница между средними значениями будет варьироваться от эксперимента к эксперименту из-за случайной выборки.

Вопрос: Какая доля разницы между средними из набора экспериментов на шаге 2 будет лежать в пределах доверительного интервала на шаге 1?

Это не может быть ответа. Все зависит от того, что произошло на шаге 1. Если этот эксперимент на шаге 1 был очень нетипичным, ответ на вопрос может быть очень низким.

Итак, представьте, что оба шага повторяются много раз (шаг 2 повторяется много раз). Теперь, я думаю, можно предположить, что доля повторных экспериментов в среднем будет иметь величину эффекта в пределах 95% доверительного интервала первого эксперимента.

Кажется, что ответ на эти вопросы должен быть понят, чтобы оценить воспроизводимость исследований, очень горячая область в настоящее время.

Анализ

Поскольку это концептуальный вопрос, для простоты давайте рассмотрим ситуацию, в которой доверительный интервал строится для среднего с использованием случайная выборка размера и вторая случайная выборка взяты из размера , все из того же нормального распределения. (Если вы , как вы можете заменить s значениями из Студенческого распределения степенями свободы, а на следующий анализ не изменится.)[ ˉ x ( 1 ) + Z α / 2 s ( 1 ) / $1-\alpha$μx(1)nx(2)m(μ,σ2)Ztn-

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

Вероятность того, что среднее значение второй выборки находится в пределах КИ, определяемой первой,

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

Поскольку среднее значение первого образца не зависит от стандартного отклонения первого образца (это требует нормальности), а второе значение выборки не зависит от первого, разница в выборке означает не зависит от . Более того, для этого симметричного интервала . Поэтому, записывая для случайной величины и возводя в квадрат оба неравенства, рассматриваемая вероятность равна$\bar x^{(1)}$ U= ˉ x ( 2 ) - ˉ x ( 1 ) s ( 1 ) Z α / 2 =- Z 1 - α / 2 S s ( 1 $s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

Законы ожидания подразумевают, что имеет среднее значение и дисперсию$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

Поскольку является линейной комбинацией нормальных переменных, оно также имеет нормальное распределение. Поэтому равно раз переменной . Мы уже знали, что является раз переменной . Следовательно, в раз превышает переменную с распределением . Требуемая вероятность определяется распределением F какU 2 σ 2 ( $U$$U^2$χ2($\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$S 2 σ 2 / n χ 2 ( n - 1 ) U 2 / S 2 1 / n + 1 / m F ( 1 , n - 1 $\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

обсуждение

Интересный случай, когда размер второй выборки такой же, как и у первой, так что и только и определяют вероятность. Здесь приведены значения зависимости от для .n α ( 1 ) α n = 2 , 5 , 20 , $n/m=1$$n$$\alpha$$(1)$$\alpha$$n=2,5,20,50$

Графики возрастают до предельного значения при каждом с ростом . Традиционный размер теста отмечен вертикальной серой линией. Для больших значений предельный шанс для составляет около .n α = 0,05 n = m α = 0,05 85 $\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

Понимая этот предел, мы рассмотрим детали небольших размеров выборки и лучше поймем суть вопроса. По мере роста распределение приближается к распределению . В терминах стандартного нормального распределения вероятность приближаетсяF χ 2 ( 1 ) Φ ( 1 $n=m$$F$$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

Например, с , и . Следовательно, предельное значение, достигаемое кривыми при при увеличении будет . Вы можете видеть, что он был почти достигнут для (где вероятность составляет .)$\alpha=0.05$$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

Для малых соотношение между и дополнительной вероятностью - риск того, что CI не покрывает второе среднее значение - почти идеально является степенным законом. $\alpha$$\alpha$ Еще один способ выразить это заключается в том, что логарифмическая вероятность является почти линейной функцией . Ограничивающие отношения примерно$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

Другими словами, для больших и где-нибудь около традиционного значения , будет близко к$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(Это очень напоминает мне анализ перекрывающихся доверительных интервалов, который я разместил на /stats//a/18259/919 . Действительно, магическая сила там, , почти аналогична магической силе. здесь . В этот момент вы должны быть в состоянии интерпретировать этот анализ с точки зрения воспроизводимости экспериментов.)$1.91$$0.557$

---

Результаты эксперимента

Эти результаты подтверждаются простым моделированием. Следующий Rкод возвращает частоту покрытия, вероятность, вычисленную с помощью , и Z-оценку, чтобы оценить, насколько они различаются. Z-показатели обычно меньше , независимо от (или даже от того, вычисляется ли или CI), что указывает на правильность формулы .2 n , m , μ , σ , α Z t ( 1 $(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[Отредактировано, чтобы исправить ошибку, указанную WHuber.]

Я изменил R-код @ Whuber, чтобы использовать распределение t и график покрытия в зависимости от размера выборки. Результаты ниже. При большом размере выборки результаты соответствуют WHuber'ам.

А вот адаптированный R-код, запускаемый дважды с альфа-значением, установленным на 0,01 или 0,05.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

А вот и файл GraphPad Prism , из которого сделан график.