Доверительный интервал вокруг биномиальной оценки 0 или 1

36

Как лучше всего рассчитать доверительный интервал биномиального эксперимента, если ваша оценка такова, что (или аналогично ) и размер выборки относительно мал, например, ?p=0p=1n=25

Kasper
источник
Как близко к нулю р ? Это часто ноль, или порядка 0,001, или 0,01, или ...? А сколько у вас данных? p^
jbowman
У нас обычно более 800 испытаний. Обычно мы ожидаем от 0 до 0,1 для рp^
AI2.0
Используйте интервал Clopper – Pearson, который вы связали. Общий принцип: сначала попробуйте интервал Клоппера – Пирсона. Если компьютер не может получить ответ, попробуйте метод аппроксимации, такой как нормальная аппроксимация. В соответствии с текущей скоростью компьютера, я не думаю, что нам нужно приближение в большинстве ситуаций.
user158565
Для получения только верхнего предела доверительного интервала с (1- уровнем доверия, мы просто будем использовать B (1 - α ; x + 1, n-x), где x - количество успехов (или неудач), n - . размер выборки В Python, мы просто используем Если это значение TRUE, можно сделать вывод , что мы мы 1-. α уверены , что верхний предел ограничен величиной от вычислим ?ααscipy.stats.beta.ppf(1−$\alpha$;x+1,n−x) αscipy.stats.beta.ppf(1−$\alpha$;x+1,n−x)
AI2.0
1
При 800 испытаниях обычное нормальное приближение будет работать достаточно хорошо, вплоть до (мое моделирование показало фактическое покрытие 94,5% с доверительным интервалом 95%). При 1000 испытаниях и p = 0,01 фактическое покрытие составляло около 92,7%. (Все основаны на 100 000 повторений.) Так что это проблема только для очень низкого p , учитывая ваш счет проб. p=0.015p=0.01p
jbowman

Ответы:

53

Не используйте нормальное приближение

Много было написано об этой проблеме. Общий совет - никогда не использовать нормальное приближение (т. Е. Асимптотический / доверительный интервал Вальда), поскольку оно обладает ужасными свойствами покрытия. R код для иллюстрации этого:

library(binom)
p = seq(0,1,.001)
coverage = binom.coverage(p, 25, method="asymptotic")$coverage
plot(p, coverage, type="l")
binom.confint(0,25)
abline(h=.95, col="red")

Вероятности покрытия асимптотических доверительных интервалов для биномиальной пропорции.

Для малых вероятностей успеха вы можете запросить 95% доверительный интервал, но на самом деле получите, скажем, 10% доверительный интервал!

рекомендации

Так что мы должны использовать? Я полагаю, что текущие рекомендации - это те, которые перечислены в статье Оценка интервалов для биномиальной пропорции Брауна, Кая и DasGupta в Статистической науке 2001, том. 16, нет 2, стр. 101–133. Авторы рассмотрели несколько методов расчета доверительных интервалов и пришли к следующему выводу.

[W] мы рекомендуем интервал Вильсона или интервал Джеффриса с равным хвостом для малых n и интервал, предложенный в Agresti и Coull для больших n .

Интервал Уилсона также иногда называют интервалом оценки , поскольку он основан на инвертировании теста оценки.

Расчет интервалов

Чтобы рассчитать эти доверительные интервалы, вы можете использовать этот онлайн-калькулятор или binom.confint()функцию из binomпакета в R. Например, для 0 успехов в 25 испытаниях код R будет иметь вид:

> binom.confint(0, 25, method=c("wilson", "bayes", "agresti-coull"),
  type="central")
         method x  n  mean  lower upper
1 agresti-coull 0 25 0.000 -0.024 0.158
2         bayes 0 25 0.019  0.000 0.073
3        wilson 0 25 0.000  0.000 0.133

Вот bayesинтервал Джеффриса. (Аргумент type="central"необходим для получения равноправного интервала.)

Обратите внимание, что вы должны решить, какой из трех методов вы хотите использовать, прежде чем вычислять интервал. Глядя на все три и выбирая самый короткий, естественно, вы получите слишком малую вероятность покрытия.

Быстрый, приблизительный ответ

В заключение: если вы наблюдаете ровно ноль успехов в ваших n испытаниях и просто хотите очень приблизительный доверительный интервал, вы можете использовать правило трех . Просто разделите число 3 на n . В приведенном выше примере n равно 25, поэтому верхняя граница равна 3/25 = 0,12 (нижняя граница, конечно, равна 0).

Карл Ове Хуфтхаммер
источник
Большое спасибо за ваш ответ. Представьте себе этот реальный пример из жизни: архитектор должен проверить в небоскребе, правильно ли установлены все изоляционные панели в потолке. Он открывает 25 потолочных панелей на случайной выборке полов и обнаруживает над всеми этими потолочными панелями изоляцию. Таким образом, мы можем заключить, что реальная вероятность наличия изоляционной панели с вероятностью 95% между CI [0,867-1] на основе интервала оценки Вильсона?
Каспер
2
Я бы не сказал, что вы можете заключить это с «95% уверенностью» (Google для «правильной интерпретации доверительных интервалов»). Кроме того, это основано на предположении о независимых испытаниях с равными вероятностями успеха, которые могут быть здесь нереальными. Возможно, последние установленные панели имели более высокий риск неправильной установки (человек, который их устанавливал, устал / скучал). Или, возможно, первые были, так как человек был менее опытным тогда. В любом случае, если архитектору сказали проверить , правильно ли установлены все панели, он должен выполнить свою работу, а не просто протестировать образец!
Карл Ове Хуфтхаммер
5
bayesиспользует одинаковый априор (вместо Джеффри), когда оба параметра формы равны 1. Я написал по электронной почте сопровождающему пакета binom из любопытства о (не) преимуществах Джеффри и единообразного априора, и он сказал мне, что в новой версии будет использоваться униформа до по умолчанию. Так что не удивляйтесь, если результаты немного изменятся в будущем.
cbeleites поддерживает Монику
3
Это отличный ответ. Он передает всю ключевую информацию, которую вы можете прочитать в статьях по теме, но очень кратко и четко. Если бы я мог дважды поднять голос, я бы сделал это.
SigmaX
6
binconfМетод Hmiscтакже вычисляет эти интервалы. По умолчанию используется метод Уилсона.
SigmaX
0

п±Zα/2п(1-п)/Nπ0π0π0

|п-π0|п(1-п)/Nзнак равно0
(1+Z02/N)π02+(-2п-Z02/N)π0+п2знак равно0

Джей Шайлер Раадт
источник
1
π0
π0 это популяционный параметр, п является оценкой параметра на основе вашей выборки, и Nэто размер выборки. Эта процедура даст вам критическое значение z, которое вы хотите. Основные предположения изложены в Agretsi and Coull (1998), ссылка в конце. К сожалению, Agretsi (2007) является учебником, поэтому я не могу дать ссылку на него. scholar.google.com/...
Джей Шайлер Раадт
Это Агрести.
Ник Кокс
@NickCox это другая работа
Джей Шилер Раадт
1
Алан Агрести опубликовал различные тексты. Полагаю, вы намекаете на «Введение в категориальный анализ данных» (2-е издание 2007 г .; 3-е издание запланировано на октябрь 2018 г. и может иметь дату 2019 г.) от Джона Уайли.
Ник Кокс