Интеллектуальная оценка и определение победителя

12

Существует подкаст NPR под названием Intelligence Squared. Каждый эпизод - это прямая трансляция дебатов по некоторым спорным заявлениям, таким как «Вторая поправка больше не актуальна» или «Позитивные действия в студенческих городках приносят больше вреда, чем пользы». Четыре представителя спорят - два за движение и два против.

Чтобы определить, какая сторона победит, аудитория опрашивается как до, так и после дебатов. Сторона, которая получила больше в абсолютном процентном соотношении, считается победителем. Например:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Интуитивно, я думаю, что эта мера успеха является предвзятой, и мне интересно, как можно опрашивать аудиторию, чтобы честно определить победителя.

Три проблемы, которые я сразу вижу при использовании текущего метода:

  • В крайнем случае, если одна сторона начинает со 100% согласия, они могут только связать или проиграть.

  • Если нет неопределенных, то сторона с меньшим начальным согласием может рассматриваться как имеющая больший размер выборки, из которой можно извлечь.

  • Нерешительная сторона вряд ли будет по-настоящему нерешенной. Если мы предположим, что обе стороны в равной степени поляризованы, кажется, что наше предварительное мнение о неопределившейся популяции должно быть если каждая из них была вынуждена принять сторону ,Beta(# For,# Against)

Учитывая, что мы должны полагаться на опрос аудитории, есть ли более справедливый способ судить, кто победит?

Уэсли Тэнси
источник
1
Я думаю, что что-то вроде «соотношение« против »и« после », разделенное на« соотношение «против» и «до» (по сути, отношение шансов), будет лучшим выбором. Если он выше 1, вы улучшили свои шансы, если меньше 1, вы этого не сделали.
Glen_b
Это была моя первоначальная мысль, хотя я сформулировал это как процентное увеличение. Я просто не уверен, как доказать, что это объективная оценка.
Уэсли Тэнси
Непредвзятая оценка чего? Я не уверен, что объективность является особенно желательным свойством для этого.
Glen_b
Насколько хорошо каждая сторона сделала. В идеале мы не хотели бы искажать результат, основываясь на первоначальном ответе толпы. Или я могу думать об этом совершенно неправильно ...
Уэсли Тэнси
Ах, я думаю, что мы используем уклон немного по-другому. Будет ли мое предложение предвзятым в этом смысле, зависит от того , что именно вы пытаетесь измерить. По одной из популярных мер, он прекрасно справляется с этой проблемой.
Glen_b

Ответы:

10

Ваши проблемы хорошо обоснованы. К сожалению, существует много оправданных, объективных способов решения этой проблемы, и они могут конфликтовать друг с другом. Следующий анализ предоставляет основу для принятия решения о том, как вы можете оценить результат, и показывает, насколько ваши выводы зависят от ваших предположений относительно динамики ситуации.


Мы практически не контролируем первоначальную аудиторию. Это может не представлять большую популяцию (например, всех зрителей), в которой мы больше заинтересованы. Поэтому абсолютное количество мнений не имеет большого значения: важны скорости, с которых люди могут передумать. (Из этих показателей мы могли оценить, как может измениться аудитория, учитывая информацию об их первоначальных мнениях, даже если пропорции мнений в аудитории слушателей отличаются от аудитории студии, которая была опрошена.)

Таким образом, результат состоит из шести возможных изменений мнения и шести связанных темпов изменения:

  • Те «за» кого я индексирует с может изменить свое мнение и в конечном итоге либо против (с индексом 2 ) при скорости 12 или нерешительности (с индексом 3 ) при скорости 13 .1,2a123a13

  • Те «против» могут изменить свой ум «за» при скорости 21 или «неопределившихся» со скоростью 23 .a21a23

  • Определившиеся могут изменить свое мнение , чтобы «за» со скоростью 31 или «против» при скорости 32 .a31a32.

Определите , для i = 1 , 2 , 3 , чтобы быть долей людей с индексом i, которые не передумали.aiii=1,2,3,i

Столбцы матрицы содержат неотрицательные числа, которые должны добавить к единице (при условии, что каждый, кто откликнется на первоначальный опрос, также ответит на последний). Это оставляет шесть независимых значений для определения на основе перехода от начального распределения в аудитории, x = ( 0,18 , 0,42 , 0,40 ) , к окончательному распределению y = ( 0,23 , 0,49 , 0,28 ) = A xA=(aij)x=(0.18,0.42,0.40)y=(0.23,0.49,0.28)=Ax, Это недоопределенная система (ограниченных) линейных уравнений, оставляющая огромную гибкость в получении решения. Давайте посмотрим на три решения.

Решение 1: наименьшее изменение

Мы могли бы попросить, чтобы матрица перехода была в некотором смысле настолько малой, насколько это возможно. Одним из способов является минимизация общего количества людей, которые меняют свое мнение. Это достигается в примере с решениемA

A=(100.125010.175000.700).

То есть неразрешенных оказались за, 17,5 % из них оказались против, и ни один из первоначальных противников не изменил свое мнение. Кто выиграл? Очевидно, что это объясняется тем, что дискуссия убедила большую часть нерешительных людей согласиться с мнением «против».12.5%17.5%

Эта модель была бы уместна, если вы считаете, что первоначальные фракции ужесточены по отношению к их мнению, и единственные люди, которые могут изменить свое мнение, находятся среди тех, кто первоначально был объявлен нерешенным.

Решение 2: Наименьшие квадраты

Математически простое решение - найти матрицу которой квадрат L 2 нормы | | A | | 2 2 = t r ( AA ) настолько мало, насколько это возможно: это сводит к минимуму сумму квадратов всех девяти вероятностей переходов (которые включают a i i, представляющие пропорции, которые не меняют свое мнение). Его решение (округленное до двух знаков после запятой)AL2||A||22=tr(AA)aii

A=(0.280.220.220.410.510.500.310.270.28).

22%27%41%31%50% 22%

1/3

Решение 3: Наказанные наименьшие квадраты

AωiA

||A||22ω1a11ω2a22ω3a33

ω=(1,1,1/2)

A=(0.9100.170.030.930.230.060.070.60).

40%17%23%

Резюме

В этой переходной модели изменения мнения большинство методов решения указывают на победу «против» в этом конкретном примере. Отсутствуют какие-либо сильные мнения о динамике перемен, что говорит о том, что «против» победила сторона.

(.20,.60,.20)(.30,.40,.30)20%30%40%30%, Однако (округленное) решение по методу наименьших квадратов, по крайней мере, предполагает, что это может произойти так, что дебаты слегка поддержат другую сторону! это

A=(0.320.290.320.360.420.360.320.290.32).

36%29%(36%) 32%

Дополнительные комментарии

A

A

Whuber
источник
Спасибо за подробный пост! Я обеспокоен тем, что во всех этих методах не учитывается вероятность того, что нерешительные люди на самом деле не определились.
Уэсли Тэнси
У них есть возможность учесть вашу озабоченность по поводу этой возможности. Вы по-прежнему застряли с необходимостью делать (сильные) предположения: если вы думаете, что они на самом деле не определились, вам придется оценить, какая пропорция «за», а какая «против» (и было бы глупо предполагать, пропорции такие же, как и для числа: число против!) Один из способов обойти такую ​​оценку - хотя бы посмотреть, как может выглядеть результат - это выбрать решение, которое вознаграждает за изменение мнения нерешенного человека.
whuber
Если предположить, что обе стороны имеют одинаковую поляризацию, не будет ли ваша оценка MAP нерешенных людей отношением «за: против»?
Уэсли Тэнси
В большинстве случаев было бы трудно поддержать такое предположение. Например, менее информированные люди могут иметь большую склонность к неопределенности, а также склонны в конечном итоге отдавать предпочтение одной из двух позиций. Эффект «одинаково поляризационного» предположения может быть настолько сильным (особенно, когда существует большая доля неопределившихся), чтобы сделать последующий анализ не относящимся к делу: результаты будут в первую очередь следствием этого предположения. Для вас может быть полезным продумать способ сбора дополнительной информации о нерешенных людях.
whuber
3

p(forafter,againstafter,undecidedafterforbefore,againstbefore,undecidedbefore)
0.5для обеих команд. Обратите внимание, что есть еще несколько вариантов для правила принятия решений, так как пространство результатов является двумерным, но, если мы доверяем прогнозной модели, это не имеет значения с точки зрения честности конкурса. Можно, например, просто решить, что команда «за» выигрывает, если соотношение «за» и «против» после дебатов превышает ее прогнозную медиану (при условии предварительного опроса).

Идеи для построения прогностической модели

(P(forfor before),P(udfor before),P(agfor before))Dir(aff,auf,aaf)(P(forud before),P(udud before),P(agud before))Dir(afu,auu,aau)(P(forag before),P(udag before),P(agag before))Dir(afa,aua,aaa),
Paaaaff=aaaafu=aau

a

Юхо Коккала
источник
Не могли бы вы развить идею прогнозирующей модели на примере?
Уэсли Тэнси
@WesleyTansey Я понял, что можно использовать идею Уабера о рассмотрении вероятностей переходов, чтобы построить прогностическую модель для целей моего ответа. Я отредактировал свой ответ, чтобы он содержал некоторые первоначальные идеи, но я не пытался реализовать это, и в настоящее время я не планирую.
Юхо Коккала