Система голосования, которая использует точность каждого избирателя и связанную с этим неопределенность

11

Допустим, у нас есть простой вопрос «да / нет», на который мы хотим знать ответ. И есть N людей, «голосующих» за правильный ответ. У каждого избирателя есть история - список 1 и 0, показывающий, были ли они правы или нет в отношении таких вопросов в прошлом. Если мы примем историю в качестве биномиального распределения, мы сможем найти среднюю оценку избирателей по таким вопросам, их вариации, КИ и любые другие виды показателей доверия.

По сути, мой вопрос: как включить конфиденциальную информацию в систему голосования ?

Например, если мы рассмотрим только среднюю производительность каждого избирателя, то мы можем построить простую взвешенную систему голосования:

result=sign(vvotersμv×(1)1vote)

То есть мы можем просто суммировать веса избирателей, умноженные либо на (для «да»), либо на (для «нет»). Это имеет смысл: если у избирателя 1 среднее число правильных ответов равно , а у избирателя 2 - только , то, вероятно, голос 1-го человека следует считать более важным. С другой стороны, если 1-й человек ответил только на 10 вопросов такого рода, а 2-й ответил на 1000 таких вопросов, мы гораздо более уверены в уровне квалификации 2-го человека, чем в 1-м - возможно, что 1-му человеку повезло и после 10 относительно успешных ответов он продолжит с гораздо худшими результатами.- 1 .9 .8+11.9.8

Итак, более точный вопрос может звучать так: есть ли статистическая метрика, которая включает в себя - силу и уверенность в отношении какого-либо параметра?

ffriend
источник

Ответы:

4

Вы должны рассматривать опыт избирателя как скрытую переменную вашей системы. Тогда вы сможете решить свою проблему с помощью байесовского вывода . Представление в виде графической модели может быть таким:

graphical_model

Обозначим переменные для истинного ответа, для голосования избирателя и для его истории. Скажем, у вас также есть параметр «экспертизы» такой что . Если вы поставите некоторые из этих - например, бета-версию - вы сможете использовать теорему Байеса для вывода , а затем интегрировать через для вычисления AViiHiμiPr(A=Vi)=μiμiPr(μiHi)μi

Pr(AVi,Hi)=μiPr(A,μiAi,Hi) dμi

Эти системы трудно решить. Вы можете использовать алгоритм EM в качестве приближения или использовать полную схему максимизации правдоподобия для точного байесовского вывода.

Взгляните на эту статью Variational Inference for Crowdsourcing , Liu, Peng и Ihler 2012 ( представленная вчера на NIPS! ) Для подробных алгоритмов решения этой задачи.

Emile
источник
1
Спасибо за ваш ответ, но не могли бы вы быть более точным? В частности, что вы подразумеваете под экспертизой? Если это просто вероятность того, что человек ответит правильно, то у нас уже есть его оценка как среднее из предыдущих ответов, так что это не скрыто. Если вы имеете в виду, что экспертиза включает в себя как среднее, так и достоверность нашей оценки, то как мы можем распространять вероятности, чтобы получить экспертизу и результат?
друг
Да, вы можете представлять как среднее значение, так и достоверность с помощью этой переменной «экспертизы» и байесовского вывода. Я добавил несколько объяснений и ссылку на свой ответ. Надеюсь, это поможет !
Эмиль