Многие частые доверительные интервалы (ДИ) основаны на функции вероятности. Если предшествующее распределение действительно неинформативно, то байесовский апостериор имеет по существу ту же информацию, что и функция правдоподобия. Следовательно, на практике байесовский интервал вероятности (или вероятный интервал) может быть в числовом отношении очень похож на частый доверительный интервал. [Конечно, даже если численно схожи, существуют философские различия в интерпретации между частыми и байесовскими интервальными оценками.]
Вот простой пример, оценивающий вероятность биномиального успеха
Предположим, что у нас наблюдений (испытаний) с успехами.n = 100 X = 73θ.n=100X=73
Частый: Традиционный интервал Вальда использует точечную оценку
И 95% -й КИ имеет форму
которая вычисляется в& Thetas ; & plusmn1,96√θ^=X/n=73/100=0.73.(0,643,
θ^±1.96θ^(1−θ^)n−−−−−−−−√,
(0.643,0.817).
n = 100; x = 73; th.w = x/n; pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n); ci.w
[1] 0.6429839 0.8170161
Эта форма CI предполагает, что соответствующие биномиальные распределения могут быть аппроксимированы нормальными и что предел погрешности хорошо аппроксимируется
В особенности для малых эти предположения не обязательно должны быть верными. [Случаи, когда или , особенно проблематичны.] √θ(1−θ)/n−−−−−−−−−√n,X=0X=nθ^(1−θ^)/n−−−−−−−−−√.n,X=0X=n
Агрести-Коулл CI было показано , чтобы иметь более точную вероятность охвата. Этот интервал «добавляет два успеха и два отказа» как трюк, чтобы приблизить вероятность покрытия к 95%. Она начинается с точечной оценки
где Тогда 95% -й КИ имеет вид
который вычисляется вДля и разница между этими двумя стилями доверительных интервалов практически ничтожна. ~ п +4. ~ & thetas ; & plusmn1,96√θ~=(X+2)/n~,n~+4.(0,612,0,792). п>1000.3<~θ<0,7,
θ~±1.96θ~(1−θ~)n~−−−−−−−−√,
(0.612,0.792).n>1000.3<θ~<0.7,
ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n); ci.a
[1] 0.6122700 0.7915761
Байесовский:
один популярный неинформативный априор в этой ситуации - этоФункция правдоподобия пропорциональна
Умножая ядра априора и вероятности, мы получаем ядро апостериорного распределения
θ x ( 1 - θ ) n - x . B e t a ( x + 1 ,Beta(1,1)≡Unif(0,1).θx(1−θ)n−x.Beta(x+1,n−x+1).
Затем для оценки байесовского интервала 95% используются квантили 0,025 и 0,975 апостериорного распределения для получения
Когда предыдущее распределение является «плоским» или «неинформативным», числовая разница между байесовским вероятностным интервалом и доверительным интервалом Агрести-Кулла незначительна.(0.635,0.807).
qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313
Примечания: (a) В этой ситуации некоторые байесовцы предпочитают неинформативный априорный(b) Для уровней достоверности, отличных от 95%, Agresti-Coull CI использует немного другую точечную оценку. (c) Для данных, отличных от биномиальных, может не быть доступного «плоского» априора, но можно выбрать априор с огромной дисперсией (малой точностью), который несет очень мало информации. (d) Для более подробного обсуждения КИ Agresti-Coull, графиков вероятностей покрытия и некоторых ссылок, возможно, также посмотрите эти вопросы и ответы .Beta(.5,.5).
Правдоподобие байесовский с плоским до≠
Функция правдоподобия и связанный с ней доверительный интервал не совпадают (концепция) с байесовской апостериорной вероятностью, построенной с априором, который задает равномерное распределение.
В частях 1 и 2 этого ответа утверждается, почему вероятность не следует рассматривать как байесовскую апостериорную вероятность, основанную на плоском априоре.
В части 3 приведен пример, в котором доверительный интервал и вероятный интервал широко варьируются. Также указывается, как возникает это несоответствие.
1 Разное поведение при преобразовании переменной
Вероятности трансформируются особым образом . Если мы знаем распределение вероятности то мы также знаем распределение для переменной определенной любой функцией , согласно правилу преобразования:fx(x) fξ(ξ) ξ x=χ(ξ)
Если вы преобразуете переменную, то среднее значение и режим могут отличаться из-за этого изменения функции распределения. Это означает, что и .x¯≠χ(ξ¯) xmaxf(x)≠χ(ξmaxf(ξ))
Функция правдоподобия не преобразуется таким образом . Это контрасты между функцией правдоподобия и апостериорной вероятностью. Функция правдоподобия (максимум) остается неизменной при преобразовании переменной.
Связанный:
Плоский априор неоднозначен . Это зависит от формы конкретной статистики.
Например, если равномерна распределена (например , то является не однородным распределенным переменным.X U(0,1)) X2
Не существует ни одной квартиры до, с которой вы могли бы связать функцию правдоподобия. Он отличается , когда вы определяете плашмя перед для или некоторые преобразованные переменной как . По всей вероятности, такой зависимости не существует.X X2
Границы вероятностей (интервалы вероятности) будут разными при преобразовании переменной (для функций правдоподобия это не так) . Например, для некоторого параметра и монотонного преобразования (например, логарифм) вы получаете эквивалентные интервалы правдоподобияa f(a) мин <aminf(amin)<<af(a)<<amaxf(amax)
2 Другая концепция: доверительные интервалы не зависят от предыдущих
Предположим, вы выбираете переменную из совокупности с (неизвестным) параметром которая сама (совокупность с параметром ) отбирается из суперпопуляции (возможно, с различными значениями для ).X θ θ θ
Можно сделать обратное утверждение пытается сделать вывод о том , что оригинал , возможно, был основан на наблюдение некоторых значений для переменной .θ xi X
Доверительный интервал не использует информацию априора, как достоверный интервал (достоверность не является вероятностью).
Независимо от предшествующего распределения (равномерное или нет) интервал x% -доверности будет содержать истинный параметр в случаевx (доверительные интервалы относятся к коэффициенту успеха, ошибке I типа, метода, а не конкретного случая) ,
В случае вероятного интервала это понятие ( времени, в котором интервал содержит истинный параметр) даже не применимо, но мы можем интерпретировать его в частом смысле, а затем мы видим, что вероятный интервал будет содержать только истинный параметр времени, когда (равномерное) предшествующее значение правильно описывает суперпопуляцию параметров, с которыми мы можем столкнуться. Интервал может эффективно работать выше или ниже, чем x% (не то, чтобы это имело значение, поскольку байесовский подход отвечает на разные вопросы, но это просто для того, чтобы отметить разницу).x
3 Разница между доверием и достоверными интервалами
В приведенном ниже примере мы исследуем функцию правдоподобия для экспоненциального распределения как функцию параметра скорости , среднего значения выборки и размера выборки :λ x¯ n
эта функция выражает вероятность наблюдать (для данного и ) выборочное среднее между и .n λ x¯ x¯+dx
примечание: параметр скорости изменяется от до (в отличие от OP 'request' от до ). Приор в этом случае будет ненадлежащим приором . Принципы, однако, не меняются. Я использую эту перспективу для упрощения иллюстрации. Распределения с параметрами от до часто являются дискретными (трудно рисовать непрерывные линии) или бета-распределением (сложно рассчитать)λ 0 ∞ 0 1 0 1
Изображение ниже иллюстрирует эту функцию правдоподобия (карта синего цвета) для размера выборки , а также рисует границы для интервалов 95% (как достоверных, так и достоверных).n=4
Границы создаются с получением (одномерной) кумулятивной функции распределения. Но эта интеграция / накопление может быть сделано в двух направлениях .
Разница между интервалами происходит потому, что 5% площади сделаны по-разному.
95-процентный доверительный интервал содержит значения для которых наблюдаемое значение встречается как минимум в 95% случаев. Этим способом. Независимо от значения , мы ошиблись бы только в 95% случаев.λ x¯ λ
Для любой вас есть север и юг от границ (изменение ) 2,5% от веса функции правдоподобия.λ x¯
Доверительный интервал 95% содержит значения которые, скорее всего, вызывают наблюдаемое значение (с учетом предшествующего фиксированного значения)λ x¯
Даже когда наблюдаемый результат менее чем на 5% вероятен для данного , конкретный может находиться внутри вероятного интервала. В конкретном примере более высокие значения являются «предпочтительными» для вероятного интервала.x¯ λ λ λ
Для любого вас есть запад и восток от границ (изменение ) 2,5% от веса функции правдоподобия.x¯ λ
Случай, когда доверительный интервал и вероятный интервал (на основе неправильного априорного значения) совпадают, предназначен для оценки среднего значения гауссовой распределенной переменной (распределение показано здесь: https://stats.stackexchange.com/a/351333/164061 ).
Очевидный случай, когда доверительный интервал и вероятный интервал не совпадают, иллюстрируется здесь ( https://stats.stackexchange.com/a/369909/164061 ). Доверительный интервал для этого случая может иметь одну или даже обе (верхнюю / нижнюю) границы на бесконечности.
источник
Обычно это не так, но может показаться так из-за наиболее часто рассматриваемых особых случаев.
РассмотримИнтервал - это доверительный интервал для хотя и не тот, который использовал бы кто-либо со здравым смыслом. Он не совпадает с вероятным интервалом в от апостериорной плоскости до априорной.( минимум { X , Y } , максимум { X , Y } ) 50 % θ , 50 %X,Y∼i.i.d∼Uniform[θ−1/2,θ+1/2]. (min{X,Y},max{X,Y}) 50% θ, 50%
Техника обусловленности Фишера на вспомогательной статистике в этом случае дает доверительный интервал, который совпадает с этим вероятным интервалом.
источник
Из моего чтения я подумал, что это утверждение верно асимптотически, то есть для большого размера выборки, и если кто-то использует неинформативный априор.
Простой числовой пример, казалось бы, подтверждает это - интервалы максимального правдоподобия профиля 90% и доверительные интервалы 90% биномиального GLM ML и байесовского GLM действительно практически идентичны
n=1000
, хотя расхождение станет большим для малыхn
:Как видно из приведенного выше примера, для
n=1000
90-процентных доверительных интервалов профиля биномиального GLM практически идентичны 90-процентным доверительным интервалам байесовского биномиального GLM (разница также в пределах использования разных семян и различных Число итераций в байесовских подгонках, и точная эквивалентность также не может быть получена, поскольку указание 100% неинформативного априора также невозможно с помощьюrstanarm
илиbrms
).источник