Принимают ли байесовцы аксиомы Колмогорова?

24

Обычно теория вероятностей преподается с аксиомами Колгоморова. Принимают ли байесовцы и аксиомы Колмогорова?

рукописный
источник
8
Байесовская теория следует из стандартных аксиом вероятности, следовательно, из аксиом Колмогорова.
Сиань
3
@ Сиань: То, что субъективные степени веры могут быть представлены вероятностью, не так очевидно - отсюда и вопрос, и работа Рамси и де Финетти.
Scortchi - Восстановить Монику
2
Вот почему я «объективный» байесовский и начну с предыдущих распределений, определенных в соответствии со стандартами теории вероятностей ...
Сиань
2
Я полагаю, что интерпретация вероятности Кокса-Джейнса обеспечивает строгую основу для байесовской вероятности. (см. мой ответ). Однако было бы неплохо узнать мнение Сианя по этому поводу.
Саммит
1
@Summit: спасибо, но я боюсь, я не очень заинтересован в проблеме ...!
Сиань

Ответы:

25

По моему мнению, интерпретация вероятности по Коксу-Джейнсу обеспечивает строгую основу для байесовской вероятности:

  • Кокс, Ричард Т. «Вероятность, частота и разумное ожидание». Американский журнал физики 14.1 (1946): 1-13.
  • Джейнс, Эдвин Т. Теория вероятностей: логика науки. Издательство Кембриджского университета, 2003.
  • Бек, Джеймс Л. «Байесовская система идентификации на основе вероятностной логики». Структурный контроль и мониторинг здоровья 17.7 (2010): 825-847.

Аксиомы вероятностной логики, полученные Коксом:

  1. Pr[b|a]0
  2. (P2): (функция отрицания)Pr[b¯|a]=1Pr[b|a]
  3. (P3): (функция соединения)Pr[bc|a]=Pr[c|ba]Pr[b|a]

Аксиомы P1-P3 подразумевают следующее (Бек, Джеймс Л. «Байесовская идентификация системы на основе вероятностной логики». Контроль структуры и мониторинг работоспособности 17.7 (2010): 825-847):

  1. (P4): a) ; б) ; c)Pr [ ¯ б | b c ] = 0 Pr [ b | c ] [ 0 , 1 ]Pr[b|bc]=1Pr[b¯|bc]=0Pr[б|с][0,1]
  2. (P5): a) , b) , где означает, что содержится в , а означает, что эквивалентно .Pr [ a | c ( a b ) ] = Pr [ b | c ( a b ) ] a b a c a b a bPr[a|с(aб)]Pr[б|с(aб)]Pr[a|с(aб)]знак равноPr[б|с(aб)]aбaсaбaб
  3. (P6):Pr[ab|c]=Pr[a|c]+Pr[b|c]Pr[ab|c]
  4. (P7): Если предположить, что предложение утверждает, что одно и только одно из предложений истинно, то: b 1 , , b Ncb1,,bN
    • а) Теорема маргинализации:Pr[a|c]=n=1NP[abn|c]
    • б) Теорема полной вероятности:Pr[a|c]знак равноΣNзнак равно1NPr[a|бNс]Pr[бN|с]
    • c) Теорема Байеса: для :Pr [ b k | a c ] = Pr [ a | b kc ] Pr [ b k | с ]Кзнак равно1,...,NPr[bk|ac]=Pr[a|bkc]Pr[bk|c]n=1NPr[a|bnc]Pr[bn|c]

Они подразумевают логику Колмогорова, которую можно рассматривать как частный случай.

В моей интерпретации байесовской точки зрения все всегда (неявно) обусловлено нашими убеждениями и нашими знаниями.

Следующее сравнение взято из Beck (2010): идентификация байесовской системы на основе вероятностной логики

Байесовская точка зрения

Вероятность - это мера достоверности утверждения, основанного на указанной информации.

  1. Распределения вероятностей представляют состояния правдоподобных знаний о системах и явлениях, а не о присущих им свойствах.
  2. Вероятность модели является мерой ее правдоподобия относительно других моделей в наборе.
  3. Прагматически количественно оценивает неопределенность из-за недостающей информации без каких-либо утверждений, что это связано с присущей природе случайностью.

Частая точка зрения

Вероятность - это относительная частота возникновения случайного по своей сути события в долгосрочной перспективе .

  1. Распределения вероятностей являются неотъемлемыми свойствами случайных явлений.
  2. Ограниченная область, например, не имеет значения для вероятности модели.
  3. Присущая случайность предполагается, но не может быть доказана.

Как вывести аксиомы Колмогорова из аксиом выше

Далее в разделе 2.2 [Бек, Джеймс Л. «Байесовская система идентификации на основе вероятностной логики». Структурный контроль и мониторинг здоровья 17.7 (2010): 825-847.] Резюмируется:

Далее мы используем: вероятностную меру на подмножестве конечного множества :A XPr(A)AX

  1. [K1]:Pr(A)0,AX
  2. [K2]:Pr(X)=1
  3. [K3]: если и не пересекаются.A BPr(AB)=Pr(A)+Pr(B),A,BXAB

Чтобы вывести (K1-K3) из аксиом теории вероятностей, [Beck, 2010] ввел пропозицию которая заявляет и задает вероятностную модель для . [Beck, 2010] также вводит .x X x Pr ( A ) = Pr [ x A | π ]πxXxPr(A)=Pr[xA|π]

  • P1 подразумевает K1 с иc = πb={xA}c=π
  • K2 следует из ; P4 (а), и говорится , что .π x XPr[xX|π]=1πxX
  • K3 может быть получено из P6: и не пересекаются, что означает, что и взаимоисключающие. Следовательно, K3:B x A x B Pr ( x A B | π ) = Pr ( x A | π ) + Pr ( x B | π )AВИксAИксВ Pr(ИксAВ|π)знак равноPr(ИксA|π)+Pr(ИксВ|π)
встреча на высшем уровне
источник
5
Из вашего K3 вы можете добраться до (конечная аддитивность), но не до 3-й аксиомы Колмогорова, (счетная аддитивность), когда являются элементами поля, а не просто подмножествами конечного множества. Pr(язнак равно1NAя)знак равноΣязнак равно1NPr(Aя)Pr(язнак равно1Aя)знак равноΣязнак равно1Pr(Aя)Aσ
Scortchi - Восстановить Монику
2
@ Scortchi KRKoch во введении к Байесовской статистике цитирует Бернардо и Смита (1994), Байесовская теория, с. 105, в качестве источника, который показывает, как обращаться к счетной бесконечности. Я не проверял это, но в качестве ссылки это также может быть дано здесь.
ГВР
12

После разработки теории вероятностей необходимо было показать, что более свободные концепции, отвечающие названию «вероятности», соответствуют строго определенному понятию, которое они вдохновили. «Субъективные» байесовские вероятности были рассмотрены Рамсеем и де Финетти, которые независимо показали, что количественная оценка степени убежденности с учетом ограничений сопоставимости и согласованности (ваши убеждения последовательны, если никто не может написать голландскую книгу против вас), должен быть вероятностью.

Различия между аксиоматизацией в значительной степени зависят от того, что должно быть, что определено и что получено. Но счетная аддитивность один из Колмогорова , что не выводима из Кокса или Finetti годов, и был спорным. Некоторые байесовцы (например, де Финетти и Сэвидж) останавливаются при конечной аддитивности и поэтому не принимают всех аксиом Колмогорова. Они могут ставить равномерное распределение вероятностей на бесконечные интервалы без нарушения. Другие следуют за Вильегасом, также предполагая монотонную непрерывность, и получают из этого счетную аддитивность.

Рэмси (1926), «Правда и вероятность», в Рэмси (1931), Основы математики и другие логические очерки

де Финетти (1931), "Suligniato soggettivo della probabilità", Fundamenta Mathematicæ , 17 , с. 298 - 329.

Villegas (1964), "О качественной вероятности алгебры", Ann. Математика Statist. , 35 , 4.σ

Scortchi - Восстановить Монику
источник
3
Почему мой ответ должен касаться только «объективных байесовских» вероятностей? Основополагающая работа Кокса (1946) явно затрагивает проблему субъективности! Это очень интересная и легко читаемая статья. Я не думаю, что имеет смысл проводить различие между «субъективными» и «объективными» байесовскими вероятностями: все всегда неявно обусловлено человеком, проводящим анализ -> и в этом отношении «субъективным».
Саммит
Что касается вывода аксиом, сформулированных Колмогоровым из Кокса: я удовлетворен тем, как это сделано в разделе 2.2 Бека Джеймса Л. «Байесовская система идентификации на основе вероятностной логики». Структурный контроль и мониторинг здоровья 17.7 (2010): 825-847.
Саммит
1
@ Саммит: (1) Ты прав; скорее, диспозиционный взгляд Рамси и де Финетти на вероятность прямо помещает их в «субъективный» лагерь, в то время как подход Кокса более применим. (2) Вы говорите, что исчисляемая аддитивность может быть выведена из постулатов Кокса?
Scortchi - Восстановить Монику
Я расширил свой ответ и с нетерпением жду ваших комментариев.
Саммит
1
@Summit: Спасибо - я надеюсь найти время, чтобы сделать мой хотя бы вдвое более тщательным. Я указал на разрыв между тем, к чему вы можете обратиться из теоремы Кокса, и «полными» аксиомами Колмогорова и думаю, что это особенно уместно в вопросе (хотя я полностью забыл об этом, когда впервые ответил). У Джейнса было кое-что интересное по этому поводу.
Scortchi - Восстановить Монику