Оценка биномиального доверительного интервала - почему он не симметричен?

30

Я использовал следующий r-код для оценки доверительных интервалов биномиальной пропорции, потому что я понимаю, что он заменяет «расчет мощности» при проектировании кривых рабочих характеристик приемника, рассматривающих обнаружение заболеваний в популяции.

n составляет 150, и мы полагаем, что заболеваемость среди населения составляет 25%. Я рассчитал значения для чувствительности 75% и специфичности 90% (потому что это то, что люди, кажется, делают).

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

Я также посетил этот сайт:

http://statpages.org/confint.html

Это Java-страница, которая вычисляет биномиальные доверительные интервалы и дает тот же ответ.

В любом случае, после этой длительной настройки я хочу спросить, почему доверительные интервалы не симметричны, например, чувствительность

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579 

Извините, если это глупый вопрос, но везде, куда я смотрю, кажется, что они будут симметричными, и мой коллега, кажется, тоже так думает.

Крис Били
источник

Ответы:

20

Они считаются симметричными, потому что довольно часто используется нормальное приближение. Это работает достаточно хорошо, если р лежит около 0,5. binom.testс другой стороны, сообщает «точные» интервалы Клоппера-Пирсона, основанные на F-распределении ( точные формулы обоих подходов см. здесь ). Если бы мы реализовали интервал Клоппера-Пирсона в R, это было бы что-то вроде (см. Примечание ):

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

Как в ссылке, так и в реализации вы видите, что формула для верхнего и нижнего пределов совершенно различна. Единственный случай симметричного доверительного интервала - это когда р = 0,5. Используя формулы из ссылки и учитывая, что в этом случае , легко определить, как это происходит.Nзнак равно2×Икс

Я лично понял это лучше, глядя на доверительные интервалы, основанные на логистическом подходе. Биномиальные данные обычно моделируются с использованием функции связи logit, определяемой как:

LогяT(Икс)знак равножурнал(Икс1-Икс)

Эта функция связи «отображает» термин ошибки в логистической регрессии на нормальное распределение. Как следствие, доверительные интервалы в логистической структуре симметричны вокруг значений логита, во многом как в классической системе линейной регрессии. Логитное преобразование используется именно для того, чтобы можно было использовать всю основанную на нормальности теорию вокруг линейной регрессии.

После выполнения обратного преобразования:

LогяT-1(Икс)знак равноеИкс1+еИкс

Вы снова получаете асимметричный интервал. Теперь эти доверительные интервалы фактически смещены. Их охват не тот, который вы ожидаете, особенно на границах биномиального распределения. Тем не менее, в качестве иллюстрации они показывают, почему логично, что биномиальное распределение имеет асимметричные доверительные интервалы.

Пример в R:

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

примечание : на самом деле R использует бета-дистрибутив, но это полностью эквивалентно и в вычислительном отношении немного более эффективно. Реализация в R, таким образом, отличается от того, что я здесь показываю, но дает точно такой же результат.

Йорис Мейс
источник
2
Вы действительно хотели сказать, что logit "преобразует биномиальное распределение в нормальное распределение" ??
uuber
@whuber: хорошая выгода формулы, и хорошая выгода формулировки. Почти нет. Это гарантирует, что ошибки в логистической регрессии соответствуют нормальному распределению. Спасибо за исправление.
Йорис Мейс
Просто краткое техническое замечание, «арксинусное» преобразование - это то, которое имеет более быструю сходимость к нормальности, чем логистическое преобразование. Установить (гдеX- количество «успехов», аN- количество испытаний), и вы можете показать с помощью так называемого «дельта-метода», что дисперсияYприблизительно постоянна (и не зависит отY, как это должно быть в нормальное распределение). Y=2πarcsinXNXNYY
вероятностная
Ссылка на «точные вероятности», которую вы предоставляете, не работает. У тебя есть еще один?
С. Коласса - Восстановить Монику
@StephanKolassa Вы также можете найти формулы Клоппера Пирсона здесь: en.wikipedia.org/wiki/…
Йорис Мейс
24

Чтобы понять, почему он не должен быть симметричным, подумайте о ситуации, когда и вы получите 9 успехов в 10 испытаниях. Тогда р = 0,9 и 95% ДИ для р является [0,554, 0,997]. Верхний предел не может быть больше 1 , очевидно, поэтому большая часть неопределенности должна падать слева от р .p=0.9p^=0.9pp^

Роб Хиндман
источник
9

p

(p^p)/p(1p)=±zα/2

В любом случае, вы можете получить все три в R с помощью следующего:

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

Обратите внимание, что метод "Уилсон" - это тот же доверительный интервал, который используется в prop.test без коррекции непрерывности Йейтса:

prop.test(29, 38, correct = FALSE)

См. Здесь бесплатное руководство SPLUS + R Лоры Томпсон, которое сопровождает Категориальный анализ данных Agresti, в котором эти вопросы обсуждаются очень подробно.


источник
1
(+1) Приятно, что вы цитируете учебник Лоры и добавляете это дополнение информации о КИ Уилсона.
ЧЛ
2
Спасибо. Я хотел бы отметить, что интервал Уилсона обсуждается в статье, на которую ссылается @Joris.
9

Для биномиального распределения существуют симметричные доверительные интервалы: асимметрия нам не навязывается, несмотря на все причины, уже упомянутые. Симметричные интервалы обычно считаются низшими в том, что

  1. Хотя они численно симметричны, они не симметричны по вероятности : то есть их односторонние покрытия отличаются друг от друга. Это - необходимое следствие возможной асимметрии биномиального распределения - суть дела.

  2. Часто одна конечная точка должна быть нереальной (меньше 0 или больше 1), как отмечает @Rob Hyndman.

Сказав это, я подозреваю, что численно симметричные КИ могут обладать некоторыми хорошими свойствами, например стремиться быть короче вероятностно симметричных в некоторых обстоятельствах.

Whuber
источник
p^=k/n
@cb Я не слежу за этим. Во-первых, самый короткий CI не обязательно будет иметь одинаковую плотность на каждом конце. Во-вторых, комментарий о «не существует» не имеет смысла для меня: что означает «не существует»?
whuber
1
кратчайший CI. Чтобы рассчитать кратчайший CI для данного покрытия, я бы начал с максимальной плотности и увеличил бы короткий шаг в сторону, где плотность выше. Там я получаю наибольшее доверие (для короткого шага). Я увеличиваю CI до тех пор, пока не получу нужную область (покрытие). Если мои шаги малы (бесконечно малы), плотность с обеих сторон будет (приблизительно) одинаковой. Я сделал ошибку в этой стратегии?
cbeleites поддерживает Монику
pp^=4/5=0.8pp<70%
1
p=0.8k{3,4,5}n=5pnkpk=4n=5Pr(p|n=5,k=4)p[0,1]Pr(k|n,p)p
2

Я знаю, что это было давно, но я думал, что я буду звонить здесь. Учитывая n и p, легко вычислить вероятность конкретного числа успехов напрямую, используя биномиальное распределение. Затем можно изучить распределение, чтобы увидеть, что оно не симметрично. Он будет приближаться к симметрии для больших np и больших n (1-p).

Можно накапливать вероятности в хвостах для вычисления конкретного КИ. Учитывая дискретный характер распределения, для нахождения конкретной вероятности в хвосте (например, 2,5% для 95% ДИ) потребуется интерполяция между количеством успехов. С помощью этого метода можно вычислять CI напрямую без аппроксимации (кроме необходимой интерполяции).

Доктор эрик
источник