Интеллектуальная оценка и определение победителя

Существует подкаст NPR под названием Intelligence Squared. Каждый эпизод - это прямая трансляция дебатов по некоторым спорным заявлениям, таким как «Вторая поправка больше не актуальна» или «Позитивные действия в студенческих городках приносят больше вреда, чем пользы». Четыре представителя спорят - два за движение и два против.

Чтобы определить, какая сторона победит, аудитория опрашивается как до, так и после дебатов. Сторона, которая получила больше в абсолютном процентном соотношении, считается победителем. Например:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Интуитивно, я думаю, что эта мера успеха является предвзятой, и мне интересно, как можно опрашивать аудиторию, чтобы честно определить победителя.

Три проблемы, которые я сразу вижу при использовании текущего метода:

• В крайнем случае, если одна сторона начинает со 100% согласия, они могут только связать или проиграть.

• Если нет неопределенных, то сторона с меньшим начальным согласием может рассматриваться как имеющая больший размер выборки, из которой можно извлечь.

• Нерешительная сторона вряд ли будет по-настоящему нерешенной. Если мы предположим, что обе стороны в равной степени поляризованы, кажется, что наше предварительное мнение о неопределившейся популяции должно быть если каждая из них была вынуждена принять сторону ,$\text{Beta}(\text{# For}, \text{# Against})$

Учитывая, что мы должны полагаться на опрос аудитории, есть ли более справедливый способ судить, кто победит?

Ваши проблемы хорошо обоснованы. К сожалению, существует много оправданных, объективных способов решения этой проблемы, и они могут конфликтовать друг с другом. Следующий анализ предоставляет основу для принятия решения о том, как вы можете оценить результат, и показывает, насколько ваши выводы зависят от ваших предположений относительно динамики ситуации.

---

Мы практически не контролируем первоначальную аудиторию. Это может не представлять большую популяцию (например, всех зрителей), в которой мы больше заинтересованы. Поэтому абсолютное количество мнений не имеет большого значения: важны скорости, с которых люди могут передумать. (Из этих показателей мы могли оценить, как может измениться аудитория, учитывая информацию об их первоначальных мнениях, даже если пропорции мнений в аудитории слушателей отличаются от аудитории студии, которая была опрошена.)

Таким образом, результат состоит из шести возможных изменений мнения и шести связанных темпов изменения:

• Те «за» кого я индексирует с может изменить свое мнение и в конечном итоге либо против (с индексом 2 ) при скорости 12 или нерешительности (с индексом 3 ) при скорости 13 .$1,$$2$$a_{12}$$3$$a_{13}$

• Те «против» могут изменить свой ум «за» при скорости 21 или «неопределившихся» со скоростью 23 .$a_{21}$$a_{23}$

• Определившиеся могут изменить свое мнение , чтобы «за» со скоростью 31 или «против» при скорости 32 .$a_{31}$$a_{32}.$

Определите , для i = 1 , 2 , 3 , чтобы быть долей людей с индексом i, которые не передумали.$a_{ii}$$i=1,2,3,$$i$

Столбцы матрицы содержат неотрицательные числа, которые должны добавить к единице (при условии, что каждый, кто откликнется на первоначальный опрос, также ответит на последний). Это оставляет шесть независимых значений для определения на основе перехода от начального распределения в аудитории, x = ( 0,18 , 0,42 , 0,40 ) , к окончательному распределению y = ( 0,23 , 0,49 , 0,28 ) = A$\mathbb{A}=(a_{ij})$$x=(0.18, 0.42, 0.40)$$y=(0.23, 0.49, 0.28) = \mathbb{A}x$, Это недоопределенная система (ограниченных) линейных уравнений, оставляющая огромную гибкость в получении решения. Давайте посмотрим на три решения.

Решение 1: наименьшее изменение

Мы могли бы попросить, чтобы матрица перехода была в некотором смысле настолько малой, насколько это возможно. Одним из способов является минимизация общего количества людей, которые меняют свое мнение. Это достигается в примере с решением$\mathbb{A}$

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

То есть неразрешенных оказались за, 17,5 % из них оказались против, и ни один из первоначальных противников не изменил свое мнение. Кто выиграл? Очевидно, что это объясняется тем, что дискуссия убедила большую часть нерешительных людей согласиться с мнением «против».$12.5\%$$17.5\%$

Эта модель была бы уместна, если вы считаете, что первоначальные фракции ужесточены по отношению к их мнению, и единственные люди, которые могут изменить свое мнение, находятся среди тех, кто первоначально был объявлен нерешенным.

Решение 2: Наименьшие квадраты

Математически простое решение - найти матрицу которой квадрат L 2 нормы | | A | | 2 2 = t r ( A ′ A ) настолько мало, насколько это возможно: это сводит к минимуму сумму квадратов всех девяти вероятностей переходов (которые включают a i i, представляющие пропорции, которые не меняют свое мнение). Его решение (округленное до двух знаков после запятой)$\mathbb{A}$$L^2$$||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$$a_{ii}$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

$22\%$$27\%$$41\%$$31\%$$50\%$ $22\%$

$1/3$

Решение 3: Наказанные наименьшие квадраты

$\mathbb{A}$$\omega_i$$\mathbb{A}$

$$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$

$\omega = (1,1,1/2)$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

$40\%$$17\%$$23\%$

Резюме

В этой переходной модели изменения мнения большинство методов решения указывают на победу «против» в этом конкретном примере. Отсутствуют какие-либо сильные мнения о динамике перемен, что говорит о том, что «против» победила сторона.

$(.20,.60,.20)$$(.30,.40,.30)$$20\%$$30\%$$40\%$$30\%$, Однако (округленное) решение по методу наименьших квадратов, по крайней мере, предполагает, что это может произойти так, что дебаты слегка поддержат другую сторону! это

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

$36\%$$29\%$$(36\%)$ $32\%$

Дополнительные комментарии

$\mathbb{A}$

$\mathbb{A}$

$$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$$ $0.5$для обеих команд. Обратите внимание, что есть еще несколько вариантов для правила принятия решений, так как пространство результатов является двумерным, но, если мы доверяем прогнозной модели, это не имеет значения с точки зрения честности конкурса. Можно, например, просто решить, что команда «за» выигрывает, если соотношение «за» и «против» после дебатов превышает ее прогнозную медиану (при условии предварительного опроса).

Идеи для построения прогностической модели

$$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$$ $P$$a$$a$$a$$a_{ff}=a_{aa}$$a_{fu}=a_{au}$

$a$