Связь между биномиальными и бета-распределениями

27

Я больше программист, чем статистик, поэтому я надеюсь, что этот вопрос не слишком наивен.

Это происходит при выполнении программ сэмплирования в случайное время. Если я возьму N = 10 случайных выборок состояния программы, я смогу увидеть выполнение функции Foo, например, на I = 3 из этих выборок. Меня интересует, что это говорит мне о фактической доле времени F, когда Foo выполняется.

Я понимаю, что я биномиально распределен со средним F * N. Я также знаю, что, учитывая I и N, F следует бета-версии. На самом деле я проверил программой связь между этими двумя дистрибутивами, которая

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

Проблема в том, что у меня нет интуитивного чувства отношений. Я не могу «представить», почему это работает.

РЕДАКТИРОВАТЬ: Все ответы были сложные, особенно @ whuber, которые мне все еще нужно ухватиться, но наведение порядка статистики было очень полезно. Тем не менее, я понял, что должен был задать более простой вопрос: каково распределение F для I и N? Все отметили, что это Бета, которую я знал. Я наконец понял из Википедии ( Conjugate prior ), что это, похоже, так Beta(I+1, N-I+1). После изучения с помощью программы, это, кажется, правильный ответ. Итак, я хотел бы знать, если я не прав. И я до сих пор не понимаю, как соотносятся два файла cdf, показанных выше, почему они составляют 1 и имеют ли они какое-либо отношение к тому, что я действительно хотел знать.

Майк Данлавей
источник
Если «то, что вы на самом деле хотели знать» - это «фактическая доля времени, в течение которого Foo выполняется», то вы спрашиваете о биномиальном доверительном интервале или (байесовском) биномиальном вероятном интервале.
whuber
@whuber: Ну, я использовал метод случайной паузы для настройки производительности более 3 десятилетий, и некоторые другие люди тоже обнаружили это. Я сказал людям, что если какое-либо условие выполняется на 2 или более случайных выборках, то удаление этого сэкономит значительную долю времени. Насколько хороша фраза - это то, о чем я пытался сказать прямо, предполагая, что мы не знаем байесовский априор. Вот общее пламя: stackoverflow.com/questions/375913/… и stackoverflow.com/questions/1777556/alternatives-to-gprof/…
Майк Данлавей
1
Хорошая идея. Статистическое допущение состоит в том, что прерывание не зависит от состояния выполнения, что является разумной гипотезой. Бином доверительный интервал является хорошим инструментом для использования для представления неопределенности. (Это также может быть откровением: в вашей ситуации 3/10 симметричный двусторонний 95% -й доверительный интервал для истинной вероятности равен [6,7%, 65,2%]. В ситуации 2/10 интервал равен [2,5 %, 55,6%]. Это широкие диапазоны! Даже с 2/3 нижний предел все еще составляет менее 10%. Урок здесь заключается в том, что что-то довольно редкое может произойти дважды.)
whuber
@whuber: Спасибо. Вы правы. Что-то более полезное - ожидаемая стоимость. Что касается априорных ситуаций, я отмечаю, что если вы видите что-то только один раз, это ничего вам не скажет, если вы не узнаете, что программа находится в бесконечном (или чрезвычайно длинном) цикле.
Майк Данлавей
Я думаю, что все ответы и комментарии, безусловно, были поучительными и правильными, но никто действительно не затронул интересное равенство, которое @MikeDunlavey поставил в своем первоначальном посте. Это равенство можно найти в бета-википедии en.wikipedia.org/wiki/Beta_function#Incomplete_beta_function, но не дается описание того, почему это так, просто оно указано как свойство.
Бдеонович

Ответы:

27

Рассмотрим статистику порядка для n + 1 независимых розыгрышей из равномерного распределения. Поскольку статистика порядка имеет бета-распределения , вероятность того, что x [ k ] не превышает p , определяется бета-интеграломx[0]x[1]x[n]n+1x[k]p

Pr[x[k]p]=1B(k+1,nk+1)0pxk(1x)nkdx.

(Почему это так? Вот нестрогая, но запоминающаяся демонстрация. Вероятность того, что лежит между p и p + d p, - это вероятность того, что из n + 1 равномерных значений, k из них лежат между 0 и p по крайней мере один из них лежит между p и p + d p , а остальные лежат между p + d p и 1. К первому порядку в бесконечно малом d px[k]pp+dpn+1k0ppp+dpp+dp1dpнам нужно только рассмотреть случай, когда ровно одно значение (а именно, само ) лежит между p и p + d p и, следовательно, значения n - k превышают p + d p . Поскольку все значения независимы и равномерны, эта вероятность пропорциональна p k ( d p ) ( 1 - p - d p ) n - k . Для первого порядка по d p это равно px[k]pp+dpnkp+dppk(dp)(1pdp)nkdp , именно подынтегральное выражение бета-распределения. Термин 1pk(1p)nkdp может быть вычислено непосредственно из этого аргумента как множительный коэффициент ( n + 11B(k+1,nk+1)или выводится косвенно как нормализующая константа интеграла.)(n+1k,1,nk)

По определению, событие является то , что к + 1 - й значение не превышает р . Эквивалентно, по крайней мере, k + 1 значений не превышает p : это простое (и я надеюсь, очевидное) утверждение обеспечивает искомую интуицию. Вероятность эквивалентного утверждения задается биномиальным распределением,x[k]pk+1stp k+1p

Pr[at least k+1 of the xip]=j=k+1n+1(n+1j)pj(1p)n+1j.

Итак , бета-интеграл разбивает вычисление события на серию вычислений: нахождение как минимум значений в диапазоне [ 0 , p ] , вероятность которого мы обычно вычисляем с помощью биномиального cdf, разбивается на взаимно исключительные случаи, когда ровно k значений находятся в диапазоне [ 0 , x ], а 1 значение находится в диапазоне [ x , x + d x ] для всех возможных x , 0 x < pk+1[0,p] k[0,x][x,x+dx]x0x<pи бесконечно малая длина. Суммирование по всем таким «окнам» [ x , x + d x ], т. Е. Интегрированию, должно давать такую ​​же вероятность, что и биномиальный cdf.dx[x,x+dx]

альтернативный текст

Whuber
источник
Я ценю усилия. Мне придется по-настоящему изучить это, потому что это не мой "родной язык". Кроме того, я вижу много знаков доллара и форматирования. Есть ли что-то, о чем я не знаю, из-за чего это выглядит как настоящая математика?
Майк Данлавей
Что произошло? Внезапно появилась математика, и печатание здесь стало очень медленным.
Майк Данлавей
Я пересмотрел вопрос, если вы хотите посмотреть. Спасибо.
Майк Данлавей
1
Уже немного поздно, но у меня наконец-то появилось время сесть и воссоздать твой аргумент. Ключ был "коэффициент многочлена". Я пытался выяснить это, используя простые старые биномиальные коэффициенты, и все сводилось на нет. Еще раз спасибо за хороший ответ.
Майк Данлавей
12

Посмотрите на PDF Binomial как функцию : f ( x ) = ( nxи pdf бета-функции как функцияp:g(p)=Γ(a+b)

f(x)=(nx)px(1p)nx
p Вы, вероятно, можете видеть, что при соответствующем (целочисленном) выборе дляaиbони совпадают. Насколько я могу судить, это все, что есть в этом отношении: способвходаpв биномиальный pdf просто называется бета-распределением.
g(p)=Γ(a+b)Γ(a)Γ(b)pa1(1p)b1
abp
Анико
источник
Я знаю, что они выглядят почти одинаково, но если я заменю y на nx, и если я возьму бета-версию PDF и заменю x на a-1, а y на b-1, я получу дополнительный коэффициент (x + y + 1), или n + 1. т.е. (x + y + 1)! / x! / y! * p ^ x * q ^ y. Этого, кажется, достаточно, чтобы сбить меня с толку.
Майк Данлавей
1
Возможно, кто-то ответит полным ответом, но в «интуитивном» объяснении мы всегда можем отмахнуться от констант (например, ), которые не зависят от представляющих интерес переменных ( x и p ), но необходимы для сделать PDF добавить / интегрировать в 1. Не стесняйтесь заменить знаки «равенства» на «пропорционально» знаки. n+1xp
Анико
Хорошая точка зрения. Я думаю, что я все ближе к пониманию. Я все еще пытаюсь сказать, что x говорит вам о p-распределении, и почему эти два
cdf-файла
1
Я придерживаюсь другого взгляда на «интуитивные» объяснения. В некоторых случаях мы не слишком заботимся о константах, но в этом случае суть в том, чтобы понять, почему появляется n + 1, а не n. Если вы этого не понимаете, тогда ваша «интуиция» неверна.
whuber
Я пересмотрел вопрос, если вы хотите посмотреть. Спасибо.
Майк Данлавей
5

Как вы заметили, бета-распределение описывает распределение параметра пробной вероятности , в то время как биномиальное распределение описывает распределение параметра I результата . Переписывая свой вопрос, вы спросили, почему P ( F i + 1)FIP(Fni+1)+P(I+1fn)=1P(Fni+1)=P(fn<Я+1)

P(Fi+1n)+P(Ifn1)=1
P(Fni+1)+P(I+1fn)=1
P(Fni+1)=P(fn<I+1)
То есть вероятность того, что наблюдение плюс один больше, чем ожидание наблюдения, равна вероятности того, что наблюдение плюс один больше, чем ожидание наблюдения.

Я признаю, что это может не помочь интуитивно понять первоначальную формулировку проблемы, но, возможно, это поможет, по крайней мере, увидеть, как эти два распределения используют одну и ту же базовую модель повторных испытаний Бернулли для описания поведения различных параметров.

sesqu
источник
Я ценю ваше мнение об этом. Все ответы помогают мне подумать над вопросом и, возможно, лучше понять, что я спрашиваю.
Майк Данлавей
Я пересмотрел вопрос, если вы хотите посмотреть. Спасибо.
Майк Данлавей
1
Относительно вашей ревизии: Да, F~ВеTa(я+1,N-я+1)До тех пор, пока ваши интервалы выборки достаточно велики, чтобы каждое наблюдение было независимым и одинаково распределенным. Обратите внимание, что если вы хотите быть байесовским по этому вопросу и указать неравномерное предварительное распределение для ожидаемой фактической пропорции, вы можете добавить что-то еще к обоим параметрам.
Sesqu
@sesqu, could your answer be somehow related to my question here: stats.stackexchange.com/questions/147978/…? I would appreciate your thoughts on it.
Vicent
1

In Bayesian land, the Beta distribution is the conjugate prior for the p parameter of the Binomial distribution.

Ian Fiske
источник
2
Yes, but why is this the case?
vonjd
1

Can't comment on other answers, so i have to create my own answer.

Posterior = C * Likelihood * Prior (C is a constant that makes Posterior integrated to 1)

Given a model that uses Binomial distribution for likelihood, and Beta distribution for Prior. The product of the two which generates the Posterior is also a Beta distribution. Since the Prior and Posterior are both Beta, and thus they are conjugate distributions. the Prior (a Beta) is called conjugate prior for the likelihood (a Binomial). For example, if you multiply a Beta with a Normal, the Posterior is no longer a Beta. In summary, Beta and Binomial are two distributions that are frequently used in Bayesian inference. Beta is Conjugate Prior of Binomial, but the two distributions are not a subset or superset of the other.

The key idea of Bayesian inference is we are treating the parameter p as a random variable that ranges from [0,1] which is contrary to frequentist inference approach where we are treating parameter p as fixed. If you look closely to the properties of Beta distribution, you will see its Mean and Mode are solely determined by α and β irrelevant to the parameter p . This, coupled with its flexibility, is why Beta is usually used as a Prior.

John Li
источник
1

Summary: It is often said that Beta distribution is a distribution on distributions! But what is means?

It essentially means that you may fix n,k and think of P[Bin(n,p)k] as a function of p. What the calculation below says is that the value of P[Bin(n,p)k] increases from 0 to 1 when you tune p from 0 to 1. The increasing rate at each p is exactly β(k,nk+1) at that p.

enter image description here


Let Bin(n,p) denote a Binomial random variable with n samples and the probability of success p. Using basic algebra we have

ddpP[Bin(n,p)=i]=n(P[Bin(n1,p)=i1]P[Bin(n1,p)=i]).

It has also some nice combinatorial proof, think of it as an exercise!

So, we have:

ddpP[Bin(n,p)k]=ddpi=knP[Bin(n,p)=i]=n(i=knP[Bin(n1,p)=i1]P[Bin(n1,p)=i])
which is a telescoping series and can be simplified as

ddpP[Bin(n,p)k]=nP[Bin(n1,p)=k1]=n!(k1)!(nk)!pk1(1p)nk=β(k,nk+1).


Remark To see an interactive version of the plot look at this. You may download the notebook or just use the Binder link.

MR_BD
источник