Объединение вероятностей / информации из разных источников

26

Допустим, у меня есть три независимых источника, и каждый из них делает прогнозы погоды на завтра. Первый говорит, что вероятность дождя завтра равна 0, затем второй говорит, что вероятность равна 1, и, наконец, последний говорит, что вероятность составляет 50%. Я хотел бы знать общую вероятность, учитывая эту информацию.

Если применить теорему умножения для независимых событий, я получаю 0, что кажется неправильным. Почему невозможно умножить все три, если все источники независимы? Есть ли какой-нибудь байесовский способ обновить предыдущее, когда я получу новую информацию?

Примечание: это не домашняя работа, это то, о чем я думал.

Биела Дила
источник
1
Знаете ли вы, насколько надежны независимые источники
Дилип Сарват
Нет, априори я бы предположил, что все источники одинаково надежны.
Била Дила
3
Это тоже хороший вопрос, о котором я думаю. Я бы добавил второй вопрос: если бы все прогнозы были 0,75, какова была бы суммарная вероятность? Выше 0,75? Какими будут официальные рамки для анализа подобных вопросов?
Карстен В.
2
На самом деле не достаточно информации; нам нужна некоторая модель того, как предсказания должны быть связаны с реальностью.
Glen_b
Я не совсем уверен, что подразумевается под «все источники одинаково надежны», когда источники предоставляют утверждения относительно вероятностей или уровней доверия / доверия. Если мы говорим о вероятности, что определенная вероятность имеет определенную ценность, то это, кажется, вызывает концептуальные проблемы. Кстати, если источники 1 и 2 одинаково надежны, они оба должны быть правы с вероятностью 0,50 ... (а вероятность дождя равна 1/2).
AG

Ответы:

32

Вы спрашиваете о трех вещах: (а) как объединить несколько прогнозов для получения единого прогноза, (б) можно ли использовать здесь байесовский подход, и (в) как иметь дело с нулевыми вероятностями.

Объединение прогнозов, это обычная практика . Если у вас есть несколько прогнозов, чем если вы берете среднее из этих прогнозов, итоговый комбинированный прогноз должен быть лучше с точки зрения точности, чем любой из отдельных прогнозов. Для их усреднения вы можете использовать средневзвешенное значение, где веса основаны на обратных ошибках (т. Е. Точности) или содержании информации . Если у вас есть знания о надежности каждого источника, вы можете назначить веса, которые пропорциональны надежности каждого источника, поэтому более надежные источники оказывают большее влияние на окончательный комбинированный прогноз. В вашем случае у вас нет никаких знаний об их надежности, поэтому каждый из прогнозов имеет одинаковый вес, и поэтому вы можете использовать простое среднее арифметическое из трех прогнозов.

0%×.33+50%×.33+100%×.33=(0%+50%+100%)/3=50%

Как было предложено в комментариях @AndyW и @ArthurB. Существуют и другие методы, кроме простого взвешенного среднего. В литературе описано много таких методов усреднения экспертных прогнозов, с которыми я раньше не был знаком, так что, ребята, спасибо. При усреднении прогнозов экспертов иногда мы хотим исправить тот факт, что эксперты имеют тенденцию к регрессии к среднему значению (Baron et al, 2013) или сделать свои прогнозы более экстремальными (Ariely et al, 2000; Erev et al, 1994). Для этого можно использовать преобразования отдельных прогнозов , например, функцию логитаpi

(1)logit(pi)=log(pi1pi)

коэффициенты к ю мощностьa

(2)g(pi)=(pi1pi)a

где , или более общее преобразование формы0<a<1

(3)T(пя)знак равнопяaпяa+(1-пя)a

где, если преобразование не применяется, если отдельные прогнозы делаются более экстремальными, если прогнозы делаются менее экстремальными, что показано на рисунке ниже (см. Karmarkar, 1978; Baron et al, 2013 ).a > 1 0 < a < 1aзнак равно1a>10<a<1

введите описание изображения здесь

После такого преобразования прогнозы усредняются (с использованием среднего арифметического, среднего, взвешенного среднего или другого метода). Если использовались уравнения (1) или (2), результаты необходимо преобразовать обратно, используя обратный логит для (1) и обратные шансы для (2). В качестве альтернативы можно использовать среднее геометрическое значение (см. Genest and Zidek, 1986; ср. Dietrich and List, 2014)

(4)п^знак равноΠязнак равно1NпявесяΠязнак равно1Nпявеся+Πязнак равно1N(1-пя)веся

или подход, предложенный Satopää et al (2014)

(5)p^знак равно[Πязнак равно1N(пя1-пя)веся]a1+[Πязнак равно1N(пя1-пя)веся]a

где - веса. В большинстве случаев используются равные веса , если не существует априорной информации, которая предполагает другой выбор. Такие методы используются при усреднении экспертных прогнозов, чтобы исправить недоверие или недоверие. В других случаях вам следует подумать, оправдано ли преобразование прогнозов в более или менее экстремальное, поскольку это может привести к тому, что итоговая совокупная оценка выйдет за границы, отмеченные самым низким и самым большим индивидуальным прогнозом.w i = 1 / Nвесявесязнак равно1/N

Если у вас есть априорные знания о вероятности дождя, вы можете применить теорему Байеса для обновления прогнозов с учетом априорной вероятности дождя аналогично тому, как описано здесь . Существует также простой подход, который можно применить, то есть вычислить средневзвешенное значение ваших прогнозов (как описано выше), где предыдущая вероятность обрабатывается как дополнительная точка данных с некоторым заранее заданным весом как в этом примере IMDB ( см. также источник или здесь и здесь для обсуждения; см. Genest and Schervish, 1985), т.е. π w πпяπвесπ

(6)p^=(i=1Npiwi)+πwπ(i=1Nwi)+wπ

Из вашего вопроса, однако, не следует, что у вас есть какие- то априорные знания о вашей проблеме, поэтому вы, вероятно, будете использовать единый априорный уровень, т. Е. Предполагаете, что априорная вероятность дождя составляет и это не сильно изменится в случае примера, который вы предоставили. ,50%

Для работы с нулями существует несколько возможных подходов. Во-первых, вы должны заметить, что вероятность дождя не является действительно надежной величиной, поскольку в нем говорится, что невозможно, чтобы шел дождь. Подобные проблемы часто возникают при обработке естественного языка, когда в ваших данных вы не наблюдаете некоторые значения, которые возможно могут возникнуть (например, вы подсчитываете частоту букв, а в ваших данных некоторые необычные буквы вообще не встречаются). В этом случае классическая оценка вероятности, т.е.0%

pi=niini

где - число вхождений го значения (из категорий), дает если . Это называется проблемой с нулевой частотой . Для таких значений вы знаете, что их вероятность отлична от нуля (они существуют!), Поэтому эта оценка, очевидно, неверна. Существует также практическая проблема: умножение и деление на нули приводит к нулям или неопределенным результатам, поэтому с нулями проблематично иметь дело. i d p i = 0 n i = 0niidpi=0ni=0

Простое и обычно применяемое исправление состоит в том, чтобы добавить некоторую константу к вашим подсчетам, чтобыβ

pi=ni+β(ini)+dβ

Общий выбор для равен , т.е. применяется единообразный априор, основанный на правиле наследования Лапласа , для оценки Кричевского-Трофимова или для оценки Шурмана-Грассбергера (1996). Тем не менее, обратите внимание, что то, что вы делаете здесь, это то, что вы применяете (ранее) информацию в вашей модели, поэтому она приобретает субъективный, байесовский характер. Используя этот подход, вы должны помнить о сделанных вами предположениях и принимать их во внимание. Тот факт, что у нас есть сильные априорные знания о том, что в наших данных не должно быть нулевых вероятностей, прямо оправдывает здесь байесовский подход. В вашем случае у вас нет частот, но вероятностей, поэтому вы бы добавили некоторыеβ11/21/dочень маленькое значение, чтобы исправить на нули. Однако обратите внимание, что в некоторых случаях этот подход может иметь плохие последствия (например, при работе с журналами ), поэтому его следует использовать с осторожностью.


Шурманн Т. и П. Грассбергер. (1996). Оценка энтропии последовательностей символов. Хаос, 6, 41-427.

Ariely, D., Tung Au, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS and Zauberman, G. (2000). Эффект усреднения субъективных оценок вероятностей между судьями и внутри них. Журнал экспериментальной психологии: Прикладная, 6 (2), 130.

Барон Дж., Меллерс Б.А., Тетлок П.Е., Стоун Э. и Унгар Л.Х. (2014). Две причины, чтобы сделать прогнозы агрегированной вероятности более экстремальными. Анализ решений, 11 (2), 133-145.

Эрев И., Уоллстен Т.С. и Будеску Д.В. (1994). Одновременное чрезмерное и недостаточное доверие: роль ошибки в процессах суждения. Психологический обзор, 101 (3), 519.

Кармаркар, США (1978). Субъективно взвешенная полезность: описательное расширение ожидаемой полезной модели. Организационное поведение и человеческая деятельность, 21 (1), 61-72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV, и Wallsten, TS (2014). Агрегирование прогнозов с помощью перекалибровки. Машинное обучение, 95 (3), 261-289.

Genest, C. и Zidek, JV (1986). Объединение вероятностных распределений: критика и аннотированная библиография. Статистическая наука, 1 , 114–135.

Сатопяя В.А., Барон Дж., Фостер Д.П., Меллерс Б.А., Тетлок П.Е. и Унгар Л.Х. (2014). Объединение нескольких вероятностных прогнозов с использованием простой модели логита. Международный журнал прогнозирования, 30 (2), 344-356.

Genest, C. и Schervish, MJ (1985). Моделирование экспертных оценок для байесовского обновления. Летопись статистики , 1198-1212.

Дитрих Ф. и Лист С. (2014). Вероятностное объединение мнений. (Неопубликованные)

Тим
источник
2
Я хотел добавить к этому, а не начать новый ответ. Другой хорошо известный метод - объединить три (или N) вероятности, взяв их среднее геометрическое (а не среднее арифметическое). Хинтон отмечает, что это дает модели с очень высокой или низкой вероятностью, право вето среди других, вместо усреднения всего, что может иногда работать против вас.
Жубарб
Итак, если бы все три прогноза составляли 75%, а информация об их достоверности недоступна, окончательный прогноз был бы 75%?
Карстен В.
@KarstenW. да, почему вы ожидаете чего-то другого? Если у вас нет априорной информации, то это единственная информация, которая у вас есть, поэтому у вас нет оснований считать окончательный результат другим ...
Тим
1
Я не читал никаких научных работ Тетлока, но я бы начал там. Например, две причины, чтобы сделать прогнозы агрегированной вероятности более экстремальными . Я посмотрю точную формулировку Фила, возможно, я неправильно запомнил слово « уничтожить» .
Энди W
1
Я был близок с крайним , но не совсем. Я должен был использовать экстремизированный , смотрите здесь . Помимо Барона и соавт. В упомянутой статье я вижу, что у Вилле Сатопяя есть работа по теме arxiv.org/abs/1506.06405 .
Энди W
6

Есть два способа думать о проблеме. Можно сказать, что источники наблюдают зашумленную версию скрытой переменной «будет дождь / не будет дождя».

Beta(a+b,a)Beta(a,a+б)

aИксYZ

пзнак равно11+(1Икс-1)б(1Y-1)б(1Z-1)б

бб>1б<1бзнак равно1

п1-пзнак равноИкс1-ИксY1-YZ1-Z

10

Эта модель работает лучше, если вы думаете о трех человек, говорящих вам, шел ли дождь вчера или нет. На практике мы знаем, что в погоде существует неустранимый случайный компонент, и поэтому было бы лучше предположить, что природа сначала выбирает вероятность дождя, которая шумно наблюдается источниками, а затем подбрасывает смещенную монету, чтобы решить, или нет идет дождь.

В этом случае комбинированная оценка выглядела бы намного больше как среднее между различными оценками.

Артур Б.
источник
Что бы х, у, г было в этой модели?
Карстен В.
Было бы три разных прогноза.
Артур Б.
Иксзнак равноYзнак равноZзнак равно34пзнак равно2728342728
Переход с 3/4 на 27/28 немного экстремален, как будто три человека говорили вам, что небо темно-синее, и вы пришли к выводу, что оно черное ...
Тим
Это зависит от модели. Здесь я предполагаю, что каждый источник имеет шумное представление о скрытой двоичной переменной, дождь или нет дождя. Это больше похоже на то, как три разных человека говорят тебе, что вчера шел дождь. Вы также можете смоделировать систему, поскольку существует скрытая вероятность дождя, а источники прогноза - получить зашумленную версию этого прогноза.
Артур Б.
3

В рамках модели переносимой веры (TBM) можно комбинировать разные прогнозы, используя, например, «правило конъюнктивного сочетания». Чтобы применить это правило, вам необходимо преобразовать вероятности предсказаний в базовые убеждения. Это может быть достигнуто с помощью так называемого принципа наименьшей приверженности. В R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

Для второго примера трех независимых прогнозов 0,75 этот подход возвращает более высокое значение:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Это не очень далеко от байесовского подхода, показанного в ответе Артура Б.

Карстен В.
источник
2

вес1знак равноσ22σ32σ12σ22+σ12σ32+σ22σ32, вес2знак равноσ12σ32σ12σ22+σ12σ32+σ22σ32, вес3знак равноσ12σ22σ12σ22+σ12σ32+σ22σ32,

13

σяσ12:σ22:σ32знак равно1:2:4,

езнак равно814*(0)+414*(1)+214*(0,5)знак равно0,3571
soakley
источник
1

Их числа для вероятности дождя - только половина истории, поскольку мы должны были бы умерить их предсказания с вероятностью, что они точны, делая предположения.

Поскольку что-то вроде дождя является взаимоисключающим (в этой настройке это либо дождь, либо нет), все они не могут быть одновременно правильными с вероятностью 75%, как предложил Карстен (я думаю, трудно сказать с путаницей, которую я слышу о том, что это означает найти «комбинированную вероятность»).

Принимая во внимание их индивидуальные способности предсказывать погоду, мы могли бы нанести удар (а-ля Томас Байес, как в общем слепом снимке в темноте) при том, что вероятность дождя будет завтра.

Станция 1 верна в своих прогнозах 60% времени, вторые 30% времени, а последняя станция - 10% времени.

E [дождь] = Px X + Py Y + Pz * Z - форма, которую мы смотрим здесь:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [дождь] = 35% вероятности дождя с точными прогнозами.

Havok
источник
1
Этот алгоритм может производить значения выше 1.
Энди W
1

На этот вопрос дано много сложных ответов, но как насчет взвешенного среднего значения обратной дисперсии: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Вместо n повторных измерений одним прибором, если экспериментатор производит n одинаковых количеств с n разных приборов с различным качеством измерений ...

Каждая случайная величина взвешивается обратно пропорционально ее дисперсии.

Средневзвешенное значение обратной дисперсии кажется очень простым для вычисления, и в качестве бонуса имеет наименьшую дисперсию среди всех взвешенных средних.

Raffles
источник
-1

Для сочетания надежности моя формула перехода - r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3). Так что для 3 источников надежности 75% все говорят одно и то же, я бы .75 ^ 3 ÷ (.75 ​​^ 3 + .25 ^ 3) => 96% достоверность комбинированного ответа

user3902302
источник
1
Это не похоже на правильный ответ на вопрос.
Майкл Р. Черник,
Следует признать, что это был скорее ответ на комментарии KarstenW, чем прямой ответ на вопрос.
user3902302