Со страницы Википедии о доверительных интервалах :
... если доверительные интервалы построены по многим отдельным анализам данных повторных (и, возможно, различных) экспериментов, доля таких интервалов, которые содержат истинное значение параметра, будет соответствовать уровню достоверности ...
И с той же страницы:
Доверительный интервал не предсказывает, что истинное значение параметра имеет конкретную вероятность нахождения в доверительном интервале с учетом фактически полученных данных.
Если я правильно понял, это последнее утверждение сделано с частой интерпретацией вероятности. Однако, с точки зрения байесовской вероятности, почему 95% доверительный интервал не содержит истинного параметра с 95% вероятностью? И если это не так, что не так со следующими рассуждениями?
Если у меня есть процесс, который, как я знаю, дает правильный ответ в 95% случаев, тогда вероятность того, что следующий ответ будет правильным, составляет 0,95 (учитывая, что у меня нет никакой дополнительной информации относительно процесса). Точно так же, если кто-то показывает мне доверительный интервал, созданный процессом, который будет содержать истинный параметр 95% времени, я должен быть неправ, говоря, что он содержит истинный параметр с вероятностью 0,95, учитывая то, что я знаю?
Этот вопрос похож, но не совпадает с тем, почему 95% -й ДИ не предполагает 95-процентную вероятность сдерживания среднего значения? Ответы на этот вопрос были сосредоточены на том, почему 95% -й ДИ не подразумевает 95-процентную вероятность сдерживания среднего значения с точки зрения частых. Мой вопрос такой же, но с точки зрения байесовской вероятности.
источник
Ответы:
Обновление : с учетом ретроспективного взгляда на несколько лет я написал более сжатую трактовку по существу того же материала в ответ на аналогичный вопрос.
Как построить доверительный регион
Начнем с общего метода построения доверительных областей. Его можно применять к одному параметру, чтобы получить доверительный интервал или набор интервалов; и его можно применять к двум или более параметрам, чтобы получить более высокие размерные доверительные области.
Мы утверждаем, что наблюдаемая статистикаD происходит из распределения с параметрами θ , а именно распределения выборки s(d|θ) по возможной статистике d , и ищем доверительную область для θ в наборе возможных значений Θ . Определить область с наивысшей плотностью (HDR): h -HDR PDF - это наименьшее подмножество его домена, поддерживающее вероятность h . Обозначим h -HDR s(d|ψ) как Hψ для любого ψ∈Θ . Тогдаh доверительная область дляθ учетом данныхD является множествомCD={ϕ:D∈Hϕ} . Типичное значениеh будет 0,95.
Частая интерпретация
Из предыдущего определения доверительной области следуетd∈Hψ⟷ψ∈Cd
с Cd={ϕ:d∈Hϕ} . Теперь представьте себе большой набор ( воображаемые ) наблюдения {Di} , взятый при аналогичных обстоятельствах D . т.е. они являются образцами из s(d|θ) . Так как Hθ поддерживает вероятностную массу h PDF s(d|θ) ,P(Di∈Hθ)=h для всехi . Следовательно, доля{Di} для которойDi∈Hθ равнаh . Итак, используя приведенную выше эквивалентность, доля{Di} для которойθ∈CDi , также равнаh .
Это то, что частое требование дляh доверительной области для θ составляет:
Поэтому доверительная областьCD не претендует на вероятность того, что θ где-то лежит! Причина в том, что в этой формулировке нет ничего, что позволяло бы говорить о распределении вероятностей по θ . Интерпретация просто сложная надстройка, которая не улучшает базу. Основой являются только s(d|θ) и D , где θ не отображается как распределенная величина, и мы не можем использовать эту информацию для решения этой проблемы. Есть два основных способа получить распределение по θ :
В обоих случаяхθ должен появиться где-то слева. Частые пользователи не могут использовать ни один из этих методов, потому что они оба требуют еретического априора.
Байесовский вид
Максимум, что байесовец может сделать изh доверительной области CD , заданной без уточнения, - это просто прямая интерпретация: то, что это множество ϕ для которого D попадает в h -HDR Hϕ распределения выборки s(d|ϕ) . Это не обязательно говорит нам много о θ , и вот почему.
Вероятность того, чтоθ∈CD , учитывая D и справочную информацию I , равна:
P(θ∈CD|DI)=∫CDp(θ|DI)dθ=∫CDp(D|θI)p(θ|I)p(D|I)dθ
Заметьте, что, в отличие от частотной интерпретации, мы немедленно потребовали распределение поθ . Исходная информация, которуюI , как и прежде, говорит нам, что распределение выборкиs(d|θ) :
P(θ∈CD|DI)i.e.P(θ∈CD|DI)=∫CDs(D|θ)p(θ|I)p(D|I)dθ=∫CDs(D|θ)p(θ|I)dθp(D|I)=∫CDs(D|θ)p(θ|I)dθ∫s(D|θ)p(θ|I)dθ
Теперь это выражение в общем случае не оценивается какh , то естьh доверительная областьCD не всегда содержитθ с вероятностьюh . На самом деле это может сильно отличаться отh . Есть, однако, многие распространенные ситуациив которых онделаетоценить вh , поэтому доверительные часто согласуются с нашей вероятностной интуицией.
Например, предположим, что предыдущий объединенный PDFd и θ является симметричным в том смысле , что pd,θ(d,θ|I)=pd,θ(θ,d|I) . (Понятно, что это предполагает предположение о том, что PDF распространяется на одну и ту же область по d и θ .) Тогда, если приоритет равен p(θ|I)=f(θ) , имеем s(D|θ)p(θ|I)=s(D|θ)f(θ)=s(θ|D)f(D) . Следовательно,
P(θ∈CD|DI)i.e.P(θ∈CD|DI)=∫CDs(θ|D)dθ∫s(θ|D)dθ=∫CDs(θ|D)dθ
From the definition of an HDR we know that for any ψ∈Θ
∫Hψs(d|ψ)ddand therefore that∫HDs(d|D)ddor equivalently∫HDs(θ|D)dθ=h=h=h
Therefore, given that s(d|θ)f(θ)=s(θ|d)f(d) , CD=HD implies P(θ∈CD|DI)=h . The antecedent satisfies
CD=HD⟷∀ψ[ψ∈CD↔ψ∈HD]
Applying the equivalence near the top:
CD=HD⟷∀ψ[D∈Hψ↔ψ∈HD]
Thus, the confidence region CD contains θ with probability h if for all possible values ψ of θ , the h -HDR of s(d|ψ) contains D if and only if the h -HDR of s(d|D) contains ψ .
Now the symmetric relationD∈Hψ↔ψ∈HD is satisfied for all ψ when s(ψ+δ|ψ)=s(D−δ|D) for all δ that span the support of s(d|D) and s(d|ψ) . We can therefore form the following argument:
Let's apply the argument to a confidence interval on the mean of a 1-D normal distribution(μ,σ) , given a sample mean x¯ from n measurements. We have θ=μ and d=x¯ , so that the sampling distribution is
s(d|θ)=n−−√σ2π−−√e−n2σ2(d−θ)2
Suppose also that we know nothing about θ before taking the data (except that it's a location parameter) and therefore assign a uniform prior: f(θ)=k . Clearly we now have s(d|θ)f(θ)=s(θ|d)f(d) , so the first premise is satisfied. Let s(d|θ)=g((d−θ)2) . (i.e. It can be written in that form.) Then
s(ψ+δ|ψ)=g((ψ+δ−ψ)2)=g(δ2)ands(D−δ|D)=g((D−δ−D)2)=g(δ2)so that∀ψ∀δ[s(ψ+δ|ψ)=s(D−δ|D)]
whereupon the second premise is satisfied. Both premises being true, the eight-point argument leads us to conclude that the probability that θ lies in the confidence interval CD is h !
We therefore have an amusing irony:
Final Remarks
We have identified conditions (i.e. the two premises) under which theh confidence region does indeed yield probability h that θ∈CD . A frequentist will baulk at the first premise, because it involves a prior on θ , and this sort of deal-breaker is inescapable on the route to a probability. But for a Bayesian, it is acceptable---nay, essential. These conditions are sufficient but not necessary, so there are many other circumstances under which the Bayesian P(θ∈CD|DI) equals h . Equally though, there are many circumstances in which P(θ∈CD|DI)≠h , especially when the prior information is significant.
We have applied a Bayesian analysis just as a consistent Bayesian would, given the information at hand, including statisticsD . But a Bayesian, if he possibly can, will apply his methods to the raw measurements instead---to the {xi} , rather than x¯ . Oftentimes, collapsing the raw data into summary statistics D destroys information in the data; and then the summary statistics are incapable of speaking as eloquently as the original data about the parameters θ .
источник
Two answers to this, the first being less helpful than the second
There are no confidence intervals in Bayesian statistics, so the question doesn't pertain.
In Bayesian statistics, there are however credible intervals, which play a similar role to confidence intervals. If you view priors and posteriors in Bayesian statistics as quantifying the reasonable belief that a parameter takes on certain values, then the answer to your question is yes, a 95% credible interval represents an interval within which a parameter is believed to lie with 95% probability.
yes, the process guesses a right answer with 95% probability
Just the same as your process, the confidence interval guesses the correct answer with 95% probability. We're back in the world of classical statistics here: before you gather the data you can say there's a 95% probability of randomly gathered data determining the bounds of the confidence interval such that the mean is within the bounds.
With your process, after you've gotten your answer, you can't say based on whatever your guess was, that the true answer is the same as your guess with 95% probability. The guess is either right or wrong.
And just the same as your process, in the confidence interval case, after you've gotten the data and have an actual lower and upper bound, the mean is either within those bounds or it isn't, i.e. the chance of the mean being within those particular bounds is either 1 or 0. (Having skimmed the question you refer to it seems this is covered in much more detail there.)
There are a couple of ways of looking at this
Technically, the confidence interval hasn't been produced using a prior and Bayes theorem, so if you had a prior belief about the parameter concerned, there would be no way you could interpret the confidence interval in the Bayesian framework.
Another widely used and respected interpretation of confidence intervals is that they provide a "plausible range" of values for the parameter (see, e.g., here). This de-emphasises the "repeated experiments" interpretation.
Moreover, under certain circumstances, notably when the prior is uninformative (doesn't tell you anything, e.g. flat), confidence intervals can produce exactly the same interval as a credible interval. In these circumstances, as a Bayesianist you could argue that had you taken the Bayesian route you would have gotten exactly the same results and you could interpret the confidence interval in the same way as a credible interval.
источник
I'll give you an extreme example where they are different.
Suppose I create my 95% confidence interval for a parameterθ as follows. Start by sampling the data. Then generate a random number between 0 and 1 . Call this number u . If u is less than 0.95 then return the interval (−∞,∞) . Otherwise return the "null" interval.
Now over continued repititions, 95% of the CIs will be "all numbers" and hence contain the true value. The other 5% contain no values, hence have zero coverage. Overall, this is a useless, but technically correct 95% CI.
The Bayesian credible interval will be either 100% or 0%. Not 95%.
источник
"from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability? "
In Bayesian Statistics the parameter is not a unknown value, it is a Distribution. There is no interval containing the "true value", for a Bayesian point of view it does not even make sense. The parameter it's a random variable, you can perfectly know the probability of that value to be between x_inf an x_max if you know the distribuition. It's just a diferent mindset about the parameters, usually Bayesians used the median or average value of the distribuition of the parameter as a "estimate". There is not a confidence interval in Bayesian Statistics, something similar is called credibility interval.
Now from a frequencist point of view, the parameter is a "Fixed Value", not a random variable, can you really obtain probability interval (a 95% one) ? Remember that it's a fixed value not a random variable with a known distribution. Thats why you past the text :"A confidence interval does not predict that the true value of the parameter has a particular probability of being in the confidence interval given the data actually obtained."
The idea of repeating the experience over and over... is not Bayesian reasoning it's a Frequencist one. Imagine a real live experiment that you can only do once in your life time, can you/should you built that confidence interval (from the classical point of view )?.
But... in real life the results could get pretty close ( Bayesian vs Frequencist), maybe thats why It could be confusing.
источник