Система голосования, которая использует точность каждого избирателя и связанную с этим неопределенность

Допустим, у нас есть простой вопрос «да / нет», на который мы хотим знать ответ. И есть N людей, «голосующих» за правильный ответ. У каждого избирателя есть история - список 1 и 0, показывающий, были ли они правы или нет в отношении таких вопросов в прошлом. Если мы примем историю в качестве биномиального распределения, мы сможем найти среднюю оценку избирателей по таким вопросам, их вариации, КИ и любые другие виды показателей доверия.

По сути, мой вопрос: как включить конфиденциальную информацию в систему голосования ?

Например, если мы рассмотрим только среднюю производительность каждого избирателя, то мы можем построить простую взвешенную систему голосования:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

То есть мы можем просто суммировать веса избирателей, умноженные либо на (для «да»), либо на (для «нет»). Это имеет смысл: если у избирателя 1 среднее число правильных ответов равно , а у избирателя 2 - только , то, вероятно, голос 1-го человека следует считать более важным. С другой стороны, если 1-й человек ответил только на 10 вопросов такого рода, а 2-й ответил на 1000 таких вопросов, мы гораздо более уверены в уровне квалификации 2-го человека, чем в 1-м - возможно, что 1-му человеку повезло и после 10 относительно успешных ответов он продолжит с гораздо худшими результатами. $+1$ $-1$ $.9$ $.8$

Итак, более точный вопрос может звучать так: есть ли статистическая метрика, которая включает в себя - силу и уверенность в отношении какого-либо параметра?

accuracy uncertainty weighted-mean voting-system ffriend
источник

Ответы:

Вы должны рассматривать опыт избирателя как скрытую переменную вашей системы. Тогда вы сможете решить свою проблему с помощью байесовского вывода . Представление в виде графической модели может быть таким:

graphical_model

Обозначим переменные для истинного ответа, для голосования избирателя и для его истории. Скажем, у вас также есть параметр «экспертизы» такой что . Если вы поставите некоторые из этих - например, бета-версию - вы сможете использовать теорему Байеса для вывода , а затем интегрировать через для вычисления $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Эти системы трудно решить. Вы можете использовать алгоритм EM в качестве приближения или использовать полную схему максимизации правдоподобия для точного байесовского вывода.

Взгляните на эту статью Variational Inference for Crowdsourcing , Liu, Peng и Ihler 2012 ( представленная вчера на NIPS! ) Для подробных алгоритмов решения этой задачи.

Emile
источник

Спасибо за ваш ответ, но не могли бы вы быть более точным? В частности, что вы подразумеваете под экспертизой? Если это просто вероятность того, что человек ответит правильно, то у нас уже есть его оценка как среднее из предыдущих ответов, так что это не скрыто. Если вы имеете в виду, что экспертиза включает в себя как среднее, так и достоверность нашей оценки, то как мы можем распространять вероятности, чтобы получить экспертизу и результат?

друг

Да, вы можете представлять как среднее значение, так и достоверность с помощью этой переменной «экспертизы» и байесовского вывода. Я добавил несколько объяснений и ссылку на свой ответ. Надеюсь, это поможет !

Эмиль