Результаты выборов в США 2016: что пошло не так с моделями прогнозирования?

108

Сначала это был Brexit , теперь выборы в США. Многие модельные прогнозы были отклонены с большой разницей, и есть ли уроки, которые нужно здесь извлечь? Вчера в 16:00 по тихоокеанскому времени рынки ставок по-прежнему предпочитали Хиллари 4: 1.

Я полагаю, что рынки ставок с реальными деньгами на линии должны выступать в качестве совокупности всех доступных моделей прогнозирования. Так что несложно сказать, что эти модели не очень хорошо справились со своей задачей.

Я видел одно объяснение, что избиратели не желают идентифицировать себя как сторонников Трампа. Как модель может включать такие эффекты?

Одно из макро объяснений, которое я прочитал, - рост популизма . Тогда возникает вопрос: как статистическая модель может охватить такую ​​макроэкономическую тенденцию?

Являются ли эти модели прогнозирования слишком большим весом данных опросов и настроений, недостаточно того, с какой точки зрения страна стоит на 100-летней перспективе? Я цитирую комментарии друга.

horaceT
источник
9
Как оценить «нежелание идентифицировать себя как сторонника Трампа». эффект: Может быть, фокус-группы? Это скорее вопрос социальной науки, чем статистика как таковая.
kjetil b halvorsen
100
Почему модели должны ошибаться только потому, что они предсказали результат, который не произошел? У меня есть модель, которая говорит, что кубик, вероятно, не будет показывать шестерку, но иногда он все равно показывает шестерку.
dsaxton
4
Я не уверен, что модели действительно сильно наклонились не с той стороны. Правильно ли мы читали вывод моделей? Я также согласен с комментарием dsaxton.
Ричард Харди
7
Некоторые хорошие мысли в блоге Эндрю Гельмана здесь .
Ричард Харди
22
Если шансы были 4: 1, менее распространенный исход все же должен происходить часто. То есть рынки ставок вполне могли быть правы.
gung

Ответы:

57

Короче, опрос не всегда прост. Эти выборы, возможно, были самыми сложными.

Каждый раз, когда мы пытаемся сделать статистический вывод, фундаментальный вопрос заключается в том, является ли наша выборка хорошим представлением интересующей нас совокупности. Типичное допущение, которое требуется для многих типов статистического вывода, состоит в том, что наша выборка является полностью случайной выборкой из представляющей интерес совокупности (и часто нам также нужны выборки, чтобы быть независимыми). Если эти предположения верны, у нас обычно есть хорошие показатели нашей неопределенности, основанные на статистической теории.

Но мы определенно не имеем эти предположения, справедливые с опросами! У нас есть ровно 0 выборок из нашей группы интересов: фактические голоса, поданные в день выборов. В этом случае мы не можем сделать какой-либо действительный вывод без дальнейших, непроверенных предположений о данных. Или, по крайней мере, непроверенные до дня выборов.

Мы полностью сдаемся и говорим «50% -50%!»? Как правило, нет. Мы можем попытаться сделать то, что мы считаем разумными предположениями о том, как будут отданы голоса. Например, может быть, мы хотим верить, что опросы - это объективные оценки голосов в день выборов, плюс некоторый определенный непредвзятый временной шум (т. Е. Развитие общественного мнения с течением времени). Я не эксперт по методам опроса, но я считаю, что это тип модели 538. И в 2012 году это работало довольно хорошо. Так что эти предположения были, вероятно, довольно разумными. К сожалению, нет никакого реального способа оценить эти предположения, кроме строго качественных рассуждений. Для получения дополнительной информации по аналогичной теме см. Тему «Неоправданные пропуски».

Моя теория о том, почему в 2016 году опросы были такими неудачными: опросы не были объективными оценками поведения в день голосования. То есть, я полагаю, что сторонники Трампа (и, вероятно, сторонники Брексита) были гораздо более недоверчивы к избирателям. Помните, что мистер Трамп активно осуждает опросы. Таким образом, я думаю, что сторонники Трампа были менее склонны сообщать о своих намерениях голосовать избирателям, чем сторонники его противников. Я бы предположил, что это вызвало непредвиденный сильный уклон в опросах.

Как аналитики могли учесть это при использовании данных опроса? Основываясь только на данных опроса, нет реального способа сделать это количественно. Данные опроса ничего не говорят о тех, кто не участвовал. Однако можно улучшить качество опросов, выбрав более разумные (но не проверяемые) предположения о связи между данными опросов и поведением в день выборов. Это нетривиальная и действительно трудная часть хорошего опросчика (примечание: я не опросчик). Также обратите внимание, что результаты были очень удивительными для экспертов, так что не похоже, чтобы были явные признаки того, что предположения были дико неверными в этот раз.

Опрос может быть сложным.

Клифф AB
источник
1
@horaceT: как они узнали, что были предубеждения, пока у них не было образцов из интересующей популяции? Одна из морщин здесь состоит в том, что исторически, я предполагаю, что эта проблема связана с шумом, а не смещением . Если обе стороны имеют одинаковый уровень отсутствия ответа, ваши оценки будут объективными, чуть более шумными. Но так как г-н Трамп провел кампанию с крайне негативным отношением к освещению в СМИ и опросам, гораздо больше, чем на любых предыдущих выборах, отсутствие ответа могло бы быть очень однобоким в отношении представления голосов Трампа. Это будет эффект, который могли бы дать социологи ...
Cliff AB
38
Для чего это стоит, я все еще не думаю, что 538 действительно потерпел неудачу. Это дало примерно 30% (?) Шансов на выигрыш Трампа, что чертовски хорошо - это означает, что каждые 2-3 раза ожидалось, что оно будет правильным, а 1 - ошибочным. Это огромное количество неопределенности, гораздо больше, чем другие опросы, казалось, готовы признать.
Мердад
3
Этот эффект хорошо известен: в США он называется эффектом Брэдли, а в Великобритании - эффектом Шай Тори.
Эмилио Пизанти
15
538 (и другие вещи, такие как УИК Сэма Вана) не являются опросами. Это модели, построенные по результатам опроса. Все эти модели начинались с в основном одних и тех же данных, но 538 предсказали гораздо большую неопределенность в результатах по причинам, которые Нейт Сильвер подробно обсуждал накануне выборов. Это означало, что 538 шансов на победу Хиллари были намного ниже, хотя он использовал те же опросы. Я согласен, что 538 не провалился - учитывая его вклад, победа Хиллари с большой неопределенностью кажется лучшим прогнозом даже в ретроспективе.
KAI
6
Сначала я прочитал окончательный прогноз 538 на следующее утро после выборов, и в нем Нейт Сильвер совершенно ясно заявляет, что допустимая погрешность в 3% будет в обычном диапазоне - и если вы посмотрите на его график с погрешностью в 3% в пользу Трампа, это очень хорошо согласуется с тем, что на самом деле произошло.
Xiong Chiamiov
35

Существует несколько источников ошибок опроса:

  • Тебе трудно найти людей

    Это исправляется с помощью демографического анализа, а затем с поправкой на смещение выборки. Если ваш демографический анализ не отражает того, что затрудняет доступ к людям, эта коррекция не устраняет ущерб.

  • Люди лгут

    Вы можете использовать исторические показатели, по которым люди лгут опросчикам, чтобы повлиять на вашу модель. Например, исторически люди заявляют, что они будут голосовать за третье лицо гораздо больше, чем на самом деле в день выборов. Ваши исправления могут быть неправильными здесь.

    Эта ложь также может испортить ваши другие исправления; если они лгут о голосовании на последних выборах, их можно считать вероятным избирателем, даже если они, например, нет.

  • Только люди, которые голосуют, в конечном итоге считают

    Кто-то может иметь большую поддержку, но если его сторонники не появляются в день выборов, это не считается. Вот почему мы зарегистрировали модель избирателя, вероятного избирателя и т. Д. Если эти модели не правы, вещи не работают.

  • Опрос стоит денег

    Проведение опросов стоит дорого, и если вы не ожидаете (скажем) переворота в Мичигане, вы не можете опрашивать его очень часто. Это может привести к удивлению, когда штат, который вы опросили за 3 недели до выборов, в день выборов выглядит совсем не так.

  • Люди меняют свое мнение

    В течение минут, часов, дней, недель или месяцев люди меняют свое мнение. Опрос о том, «что бы вы сделали сейчас», мало поможет, если они передумают до того, как это засчитается. Существуют модели, которые приблизительно предполагают скорость, с которой люди меняют свое мнение на основе исторических опросов.

  • Скотоводство

    Если все остальные утверждают, что Хиллари +3, а вы получаете опрос, показывающий Хиллари +11 или Дональда +1, вы можете задать вопрос. Вы можете сделать еще один проход и посмотреть, есть ли сбой анализа. Вы могли бы даже выбросить это и сделать другой опрос. Когда вы получаете опрос Хиллари +2 или +4, вы можете этого не делать. Массивные выбросы, даже если статистическая модель говорит, что это иногда случается, может заставить вас «выглядеть плохо».

    Особенно дурацкая форма этого произошла в день выборов, когда все, кто проводил опрос, волшебным образом сходились к одной и той же ценности; они, вероятно, где избирательные опросы, но никто не хочет быть тем, кто сказал (скажем) Хиллари +11 за день до этих выборов. Быть неправым в стаде вредит тебе меньше.

  • Ожидаемая ошибка выборки

    Если у вас 1 миллион человек, и вы спросите 100 совершенно случайных людей, половина из которых ответит «Apple», а половина ответит «Orange», ожидаемая ошибка, которую вы получите при выборке, составляет +/- 10 или около того, даже если ни одна из перечисленных выше проблем не возникла. происходят. Этот последний бит , что опросы описывают , как их погрешность. Опросы редко описывают то, что вышеуказанные поправочные коэффициенты могут представить как ошибку.


Нейт Сильвер (538) был одним из немногих агрегаторов опросов, которые использовали консервативные (осторожные) средства для обработки ошибок вышеупомянутых типов. Он учел возможность системных коррелированных ошибок в моделях опроса.

В то время как другие агрегирующие агенты предсказывали, что ХС был выбран с вероятностью более 90%, Нейт Сильвер заявлял о 70%, поскольку опросы были в пределах «обычной ошибки опроса» после победы Дональда.

Это была историческая мера ошибки модели , в отличие от необработанной статистической ошибки выборки; Что делать, если модель и поправки к модели были неправильными?


Люди все еще хрустят числами. Но, предварительные результаты указывают, что большая часть это была явка моделей. Сторонники Дональда участвовали в опросах в большем количестве, а сторонники Хиллари - в меньших количествах, чем указывали модели опросов (и опросов на выход!).

Латиноамериканцы проголосовали за Дональда больше, чем ожидалось. Черные проголосовали за Дональда больше, чем ожидалось. (Большинство из них проголосовали за Хиллари). Белые женщины проголосовали за Дональда больше, чем ожидалось (больше за них проголосовало за Дональда, чем за Хиллари, чего не ожидалось).

Явка избирателей была низкой в ​​целом. Демократы, как правило, побеждают при высокой явке избирателей, а республиканцы - при низкой.

Yakk
источник
1
Интересной проблемой явки является то, что сам опрос влияет на явку избирателей. Есть ли модель явки для этого? Должна быть возможность иметь функцию, которая принимает прогнозируемую явку по опросу, и изменять ее для обеих сторон в соответствии с перспективой кандидата. Кандидат в отставку может не получить дополнительных избирателей, которые будут более обеспокоены, увидев, что опрос описывает их кандидатов как плачевные, но если ваш кандидат намного впереди, вы можете не так усердно работать, чтобы выбраться ... линейная функция, но она должна быть измеримой.
BenPen
2
+1 от меня только за упоминание о стаде и объяснение этого хорошо. Когда я подошел к своему ответу, у меня было очень подозрительное стадо, которое может начаться примерно 5-го или около того (3-х дней с момента выборов) на основе графика 538. Я предполагаю, что мы узнаем больше о том, какие ошибки действительно были в ближайшие дни. (Вы знаете, что вы - ботаник, когда вы одержимо обновляете веб-страницу, чтобы рассмотреть вторую производную кривой там).
TED
Я не знаю, как вы это объясняете, но я думаю, что с Трампом связана стигма, из-за которой трудно правильно оценить его фактическую поддержку и она будет видна только в реальных результатах выборов. Мне нравится воспринимать это как следствие наклейки на бампер: Джордж У. Буш и Обама были двумя президентами, но в то время как наклейка на бампере Обамы широко распространена и украшена на автомобилях с гордостью, наклейка на бампере Буша была похожа на четырехлистный клевер. Есть определенные кандидаты, где открытая поддержка черпает слишком много тепла и уныния у оппозиции, и поддержка очень сдержанная.
Коберн
3
@coburne Там не было никаких доказательств этого в праймериз; Сторонники Трампа, где не стесняются этого. Наклейки на бампер Буша популярны в разных областях, чем наклейки на бампер Обамы.
Якк
@coburne - То, о чем вы говорите, называется «Эффект Брэдли» . Существует огромная дискуссия о том, существует ли она вообще. Однако было одно исследование, которое предположительно обнаружило, что его сила примерно пропорциональна тому, сколько расовой риторики использовалось в кампании. Я не думаю, что есть много споров о том, что многое из этого было использовано в этом.
TED
31

Это было упомянуто в комментариях к принятому ответу (хет-кончик Мехрдаду ), но я думаю, что это следует подчеркнуть. 538 на самом деле сделали это очень хорошо в этом цикле * .

538 - агрегатор опроса, который запускает модели для каждого состояния, чтобы попытаться предсказать победителя. Их финальный забег дал Трампу около 30% шансов на победу. Это означает, что если вы провели три выборов с такими данными, вы ожидаете, что Team Red победит на одном из них. Это не так уж мало шансов. Это, безусловно, достаточно большой, чтобы я принял меры предосторожности (например, в пятницу, прежде чем я попросил среду 9-го выходного на работе, учитывая вероятность того, что он достаточно близко, чтобы быть поздно ночью).

Одна вещь 538 скажет вам, если вы там тусуетесь, это то, что, если опросы выключены, есть большая вероятность, что они все будут в одном направлении. Это по нескольким причинам.

  • Вероятные модели избирателей. Опросы должны учитывать типы избирателей, которые действительно появятся в день выборов. У нас есть исторические модели, но это, очевидно, не была ваша типичная пара кандидатов, поэтому прогнозирование на основе прошлых данных всегда было чем-то вроде колоссального удара.
  • Позднее предвыборное скотоводство . Никто не хочет, чтобы голосование провалило выборы хуже всего. Таким образом, хотя они не возражают против того, чтобы выделяться в середине кампании, в конце все опросы склонны подстраиваться так, что они говорят то же самое. Это одна из вещей, которую обвиняют в том, что опросы были настолько вопиюще отклонены в неожиданной потере Эрика Кантора в 2014 году, а также в неожиданно близких результатах гонки Сената Вирджинии 2014 года .

* - 538 опубликовал собственный анализ . Это в основном соответствует сказанному выше, но стоит прочитать, если вам нужно больше подробностей.


Теперь немного личных предположений. Я на самом деле скептически относился к последним% шансов 538 за последние 3 дня. Причина восходит к этой второй пуле выше. Давайте посмотрим на историю их модели для этих выборов (с их сайта)

введите описание изображения здесь

(К сожалению, ярлыки скрывают это, но после этого кривые снова расходились в течение последних трех дней с вероятностью более 70% для Клинтона)

Паттерн, который мы видим здесь, - это повторяющаяся дивергенция с последующим затуханием в направлении отведения Трампа. Все пузыри Клинтона были вызваны событиями. Первым были соглашения (обычно есть пара дней после события, чтобы оно начало появляться в опросе). Второе, кажется, было начато первыми дебатами, вероятно, поддержанными лентой TMZ. Тогда есть третья точка перегиба, которую я отметил на картинке.

Это произошло 5 ноября, за 3 дня до выборов. Какое событие вызвало это? За пару дней до этого была еще одна электронная почта, но это не должно было сработать в пользу Клинтона.

Лучшим объяснением, которое я мог придумать в то время, было скотоводство. До выборов оставалось всего 3 дня, до финальных выборов - 2 дня, и избиратели начали беспокоиться об их окончательных результатах. «Общепринятая мудрость» на всех этих выборах (о чем свидетельствуют модели ставок) была легкой победой Клинтона. Так что казалось вполне вероятным, что это вовсе не было настоящим перегибом. Если бы это было так, истинная кривая с 5 ноября была вполне вероятной продолжением этой кривой к конвергенции.

Без этого подозрительного конечного перегиба потребовался бы лучший математик, чем я, чтобы оценить здесь кривую вперед, но, глядя на это, я думаю, что 8 ноября было бы около точки пересечения . Спереди или сзади зависит от того, сколько из этой кривой было на самом деле реально.

Теперь я не могу точно сказать, что это случилось. Есть и другие очень правдоподобные объяснения (например: Трамп вывел своих избирателей намного лучше, чем ожидал любой опросщик) Но это была моя теория о том, что происходило в то время, и она, безусловно, оказалась прогностической.

ТЕД
источник
1
Я думаю, что этот странный подсчет голосов в последние несколько дней был бы лучше проанализирован, но сторонники Клинтона увидели то, что они хотели видеть, а сторонники Трампа давно перестали обращать внимание на выборы. Надеюсь, кто-нибудь сделает это сейчас.
TED
Я думал, что последние дни немного нормализовались из-за заявления Коми, что новые электронные письма не являются причиной для возобновления уголовного расследования.
Конрад Рудольф
@KonradRudolph - Это было объяснение, которое я слышал в то время. Проблема заключается в том, что данное заявление не было опубликовано до 6 ноября, а подозрительная точка перегиба произошла днем ранее (см. Маркер на рисунке выше). Кроме того, время выбрано неверно, потому что Comey полностью объясняет это падение, поэтому нет логической причины, по которой его «бессмысленное» заявление остановило бы его (а тем более перевернуло).
TED
2
Проблема с 538 заключается не столько в их модели, сколько в качестве данных опроса, которые вошли в него. Данные ясно показывают, что это не был случай ошибки выборки (которая довольно мала, когда вы усредняете опросы, каждый из которых имеет приличный размер выборки). washparkprophet.blogspot.com/2016/11/what-polls-got-wrong.html Вместо этого, проблема заключается в предвзятом отборе выборки в львиной доле опросов или системной неправдивости респондентов (из-за социального неодобрения Трампа) или обе. Но 538 получает признание за то, что в их модели признано, что опросы в разных штатах не являются независимыми.
ohwilleke
@ohwilleke - Верно. Как сказал один из других ответов, GIGO. Это то, что я понял, вероятно, происходило с этой странной необъяснимой точкой перегиба. Вопрос является источником "мусора" во входных опросах.
TED
17

Сначала это был Brexit, теперь выборы в США.

Не совсем первые, например, президентские выборы во Франции в 2002 году "привели к серьезным дискуссиям о методах голосования".

Так что несложно сказать, что эти модели не очень хорошо справились со своей задачей.

Мусор на входе, мусор на выходе.

Я видел одно объяснение, что избиратели не желают идентифицировать себя как сторонника Трампа. Как модель может включать такие эффекты?

См. Смещение ответа , и в частности смещение социальной желательности . Другие интересные чтения: молчаливое большинство и эффект Брэдли .

Франк Дернонкур
источник
2
Конечно, мусор в мусор. Но как узнать, что предикторы были мусором, и сделать «выбор переменных», чтобы их использовать?
horaceT
6
@ HoraceT, как вы можете видеть, это очень сложно, а иногда и невозможно. FiveThirtyEight.com имел очень приличную методологию и высококачественную модель, использующую разнообразные данные и исправляющую множественные ошибки. За день до выборов это дало 71,4% вероятности, что Хилари Клинтон победит ...
Тим
1
@horaceT Я бы сосредоточился на сборе данных, так как это кажется проблемой. Страница смещения социальной желательности содержит некоторые идеи по ее улучшению.
Франк Дернонкур
1
@horaceT более того, если бы почти каждый пул сказал, что Клинтон руководит только сумасшедшим, он бы утверждал, что все они неправы ... Было бы очень трудно обосновать такую ​​модель.
Тим
1
Мне было бы любопытно узнать, насколько точны прогнозы опросов по явке избирателей (например, на основе демографических данных). Я мог бы предположить, что если бы многие опросы предсказывали «значительное преимущество», явка могла быть подавлена ​​(например, аналогично эффекту наблюдателя )?
GeoMatt22
12

У опроса USC / LA Times есть некоторые точные числа. Они предсказывали, что Трамп будет в лидерах. Посмотрите опрос USC / LA Times, который показал, что пропустили другие опросы: волна поддержки Трампа

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

введите описание изображения здесь

У них были точные цифры и на 2012 год.

Вы можете просмотреть: http://graphics.latimes.com/usc-presidential-poll-dashboard/

А NY Times жаловалась на их взвешивание: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. HTML

Ответ LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Джон
источник
26
В этом опросе Трамп выиграл популярное голосование на 3,2%, но Клинтон, кажется, выиграл на 0,1%. Поэтому я не понимаю, как вы можете сказать, что у них были точные цифры.
Уинстон Эверт
3
Небольшое замечание - действительно ли вы ожидаете, что какая-либо статистика окажется в пределах 3,2% от окна ошибки?
AnoE
9
Проблемы с этим опросом в качестве примера: 1) Это неправильный опрос. Народное голосование связано с победой на президентских выборах, но это не так, как было решено. 2) Он неправильно понял верхнюю линию . Клинтон выиграл то, что он измеряет, а не Трамп. 3) Это были те же 3 пункта, что и большинство других опросов, просто в другом направлении.
TED
5
... на самом деле, похоже, что Клинтон может финишировать примерно на целое очко впереди Трампа в ходе всенародного голосования, что означает, что этот опрос был проигран 4, а не 3. Так что в теории подобный опрос, в котором она выиграла 3 очка, имел бы был в два раза точнее, чем этот (только на 2 балла, а не 4).
TED
8
Опрос LA Times был правильным случайно : перевес 19-летнего противовеса недооцененным белым сельским голосам.
Отметить
11

Никакой возвышенности здесь не заявлено. Я работаю в области (Мониторинг и оценка), которая так же богата псевдонаукой, как и любая другая общественная наука, которую вы можете назвать.

Но дело в том, что сегодня избирательная индустрия, по-видимому, находится в «кризисе», потому что она так неправильно сделала прогнозы на выборах в США, что у социальной науки в целом повторяется «кризис», и еще в конце 2000-х у нас был мировой финансовый «кризис», потому что некоторые практики полагали, что субстандартные ипотечные деривативы были допустимой формой финансовых данных (если мы дадим им преимущество сомнения ...).

И мы все просто ошибаемся. Каждый день я вижу самые сомнительные конструкции исследователей, которые используются в качестве методов сбора данных и, следовательно, в конечном итоге используются в качестве данных (от квази-порядковых шкал до самых лидирующих категорий с фиксированными ответами). Очень немногие исследователи, похоже, осознают, что им нужно иметь концептуальную основу для таких конструкций, прежде чем они смогут надеяться понять свои результаты. Это как если бы мы рассмотрели подходы к исследованию рынка и решили принять только худшую из их ошибок, добавив немного нумерологии на стороне.

Мы хотим, чтобы нас считали «учеными», но все это слишком сложно для нас, поэтому мы собираем мусорные данные и молимся богу статистики, похожему на Локи, чтобы волшебным образом перевесить аксиому ГИГО.

Но, как указывает г-н Фейнман:

«Неважно, насколько прекрасна ваша теория, не важно, насколько вы умны. Если это не соответствует эксперименту, это неправильно ».

Существуют более эффективные способы обработки качественных данных, с которыми мы часто застряли, но они требуют немного больше работы, и эти замечательные конструкции исследователя часто гораздо проще передать в SPSS. Удобство, кажется, побеждает науку каждый раз (не каламбур).

Короче говоря, если мы не начнем серьезно относиться к качеству необработанных данных, я думаю, что мы просто тратим впустую время и деньги каждого, включая свое собственное. Так же кто-то хочет сотрудничать в «инициативе по обеспечению качества данных» в отношении методов социальных наук (да, в учебниках есть много о таких вещах, но никто не обращает внимания на этот источник после экзаменов).

Тот, кто обладает наибольшим академическим авторитетом, становится лидером! (Это не я.)

Просто чтобы прояснить мой ответ здесь: я вижу серьезные фундаментальные проблемы с «надуманными» необработанными типами данных так часто, что я хотел бы предложить начать с самого начала. Таким образом, даже прежде, чем мы будем беспокоиться о выборке или о том, какие тесты будут выполняться на данных, нам нужно посмотреть на достоверность / ограничения типов данных, которые мы собираем, в отношении предлагаемых моделей. В противном случае общая прогностическая модель не полностью определена.

Colin
источник
2
Если взять далеко, я уверен, вы можете привести примеры сомнительных конструкций исследователя.
horaceT
4
Я не обязательно не согласен со многими вашими пунктами. Но я просто хочу отметить, что в случае опроса я думаю, что каждый опросчик чрезвычайно осведомлен об ограничениях, связанных с качеством данных, но на самом деле у него нет вариантов его улучшения (см. Мой ответ). Похоже, ваш ответ предполагает, что социологи хотят вытолкнуть любой ответ, не заботясь о качестве данных. Я думаю , опросчик заботится много о качестве данных, но и понимать , что в лучшем случае они могут получить серьезные потенциальные недостатки. Вы отказываетесь («50% -50%!») Или пытаетесь создать что-то, что может быть разумным?
Клифф AB
мой ответ на комментарии был обязательно немного длинным, поэтому добавил его как новый ответ
Колин
9

Опросы, как правило, имеют погрешность в 5%, от которой вы не можете избавиться, потому что это не случайная ошибка, а систематическая ошибка. Даже если вы в среднем по многим опросам, это не намного лучше. Это связано с искаженными группами избирателей, отсутствием мобилизации, неспособностью идти на голосование в рабочий день, нежеланием отвечать, нежеланием отвечать правильно , спонтанными решениями в последнюю минуту, ... потому что этот уклон имеет тенденцию быть "коррелированным" через опросы, вы не можете избавиться от этого с большим количеством опросов; вы также не можете избавиться от него с помощью больших размеров выборки; и вы также не можете предсказать этот уклон, потому что он меняется слишком быстро (и мы слишком редко выбираем президентов).

Из-за глупого принципа «победитель получает все», который все еще присутствует почти во всех штатах, ошибка в 5% может привести к совершенно разным результатам: предположим, что опросы всегда предсказывали 49-51, но реальный результат был 51-49 (поэтому ошибка только 2%), результат 100%; из-за победителя получает все.

Если вы посмотрите на отдельные состояния, большинство результатов находятся в пределах предсказанных полей ошибок!

Вероятно, лучшее, что вы можете сделать, это сэмплировать это смещение (+ -5%), применить крайности «победитель получает все», а затем агрегировать результаты. Это, вероятно, похоже на то, что сделали 538; и в 30% образцов Дональд Трамп выиграл ...

Anony-Мус
источник
9
Я называю это «принципом сумасшедшей окраины» опроса: в любом вопросе 5% респондентов дадут сумасшедший ответ. Как и у любого эмпирического принципа, у него есть исключения, но он хорошо зарекомендовал себя на протяжении десятилетий, помогая понять результаты опроса.
whuber
1
Если бы это был просто «сумасшедший» ответ. Проблема в том, что это систематическое, а не «случайное сумасшествие». Вы можете считать выборы бинарным опросом, и какие «сумасшедшие ответы» можно ожидать в бинарном порядке? Но, видимо, многие люди сознательно (?) Дают неправильный ответ или по-разному решают, когда на самом деле в кабине, или же не ходят на выборы, ...
Anony-Mousse
3
@ Anony-Mousse, независимо от того, насколько точной она может быть, а может и нет, я не понимаю, насколько ювенильные имена имеют отношение к статистическому анализу.
Джаред Смит
О, это бесценная история. В некоторые дни вам приходится смеяться, а не волноваться, почему результаты прогноза неточны.
Anony-Mousse
Комментарии не для расширенного обсуждения; этот разговор был перемещен в чат .
gung
7

400,000

В конце концов, это выявило колоссальную неудачу численного анализа, чтобы восполнить недостаток знаний предмета. Людям было стыдно за явное принятие победившего кандидата по понятным причинам.

Худшая компьютерная модель могла бы стать ближе к исходу, если бы кто-то потрудился провести предварительный опрос лицом к лицу, стуча в двери. Вот пример: у Трафальгарской группы (без аффилированности или знаний, кроме той, которая следует ниже) Трамп лидировал в ПА, ФЛ, МИ, ГА, УТ и НВ (это последнее состояние стало в конечном итоге синим) за день до выборов. В чем была магия?

комбинация опроса респондентов как со стандартным испытанием для голосования, так и с проведением голосования [sic], в котором находятся соседи респондента. Это учитывает основную предвзятость традиционного опроса, когда респонденты не совсем правдивы в отношении своей позиции в отношении весьма спорных кандидатов.

Довольно низкотехнологичный, в том числе отсутствие проверки орфографии, в цифрах многое говорит о человеческой природе. Вот несоответствие в ПА :

введите описание изображения здесь

Историческая Пенсильвания - настолько далека от того, чтобы восприниматься как последняя капля в демократическом поражении всего за несколько часов до этого заключительного осознания в 1:40 9 ноября 2016 года:

введите описание изображения здесь

Антони Пареллада
источник
2
Спрашивать о намерении соседей голосовать просто блестяще - мне кажется, это один из тех хитрых приемов, иногда используемых в статистике, которые позволяют исправить (в некоторой степени, по крайней мере) кажущееся безнадежным предвзятость. Спасибо, что написали об этом, очень интересно!
DeltaIV
5

Одна из причин неточности голосования на выборах в США, кроме того, что некоторые люди по какой-либо причине не говорят правду о том, что эффект «победитель забирает все» делает прогнозы еще проще. Разница в 1% в одном штате может привести к полной смене штата и очень сильно повлиять на весь результат. У Хиллари было больше избирателей, как у Эла Гора против Буша.

Референдум по Брекситу не был нормальными выборами, и поэтому его было сложнее предсказать (нет хороших исторических данных, и каждый был как первый раз в этом вопросе). Люди, которые десятилетиями голосуют за одну и ту же партию, стабилизируют прогнозы.

Sascha
источник
2
Очень хорошее наблюдение. Были четкие состояния для каждой стороны и состояния свинга. Несмотря на то, что их количество было низким, влияние на небольшое изменение имеет большое количество голосов. Это очень запутанная, исторически сложившаяся схема голосования в США.
Триларион,
4

(Просто отвечая на этот бит, так как другие ответы, кажется, охватили все остальное.)

Вчера в 16:00 по тихоокеанскому времени рынки ставок все еще предпочитали Хиллари 4: 1. Я полагаю, что рынки ставок с реальными деньгами на линии должны выступать в качестве ансамбля всех доступных моделей прогнозирования.

Нет ... но косвенно да

Рынки ставок спроектированы таким образом, чтобы букмекеры получали прибыль независимо от того, что происходит. Например, говорят, что в настоящее время цитируемые шансы были 1-4 на Хилари и 3-1 на Трампа. Если все следующие десять человек поставят 10 долларов на Хилари, то эти 100 долларов будут стоить им 25 долларов, если Хилари победит. Поэтому они сокращают Хилари до 1-5 и поднимают Трампа до 4-1. Все больше людей делают ставки на Трампа, и баланс восстанавливается. Т.е. он основан исключительно на том, как люди делают ставку, а не на знатоках или моделях прогнозирования.

Но, конечно, клиенты букмекеров смотрят на эти опросы и слушают этих экспертов. Они слышат, что Хилари на 3% впереди, мертвый сертификат, чтобы выиграть, и решают, что быстрый способ заработать 10 долларов - это поставить на нее 40 долларов .

Косвенно эксперты и опросы изменяют шансы.

(Некоторые люди также замечают, что все их друзья на работе будут голосовать за Трампа, поэтому сделайте ставку на него; другие заметят, что все посты их друзей в Фейсбуке - про-Хилари, поэтому сделайте ставку на нее, чтобы на нее повлияло немного реальности. их, таким образом.)

Даррен Кук
источник
2

Неудивительно, что эти усилия не увенчались успехом, если учесть несоответствие между тем, какая информация имеет доступ к моделям, и какая информация влияет на поведение в кабине для голосования. Я размышляю, но модели, вероятно, принимают во внимание:

  • различные результаты предвыборных опросов
  • историческое положение государства (синий / красный)
  • исторические результаты предыдущих выборов с нынешним состоянием / прогнозами

Но предвыборные опросы ненадежны (в прошлом мы видели постоянные неудачи), штаты могут перевернуться, и в нашей истории не было достаточного количества циклов выборов, чтобы учесть множество ситуаций, которые могут возникать и возникают. ,

Еще одним осложнением является слияние всенародного голосования с коллегией выборщиков. Как мы видели на этих выборах, всенародное голосование может быть очень близко внутри штата, но как только государство выиграет, все голоса будут отданы за одного кандидата, поэтому на карте так много красного цвета.

HEITZ
источник
1

Модели опроса не учитывали, сколько либертарианцев могут перейти от Джонсона к Трампу, когда дело доходит до фактического голосования. Государства, которые выиграли с небольшим отрывом, были выиграны в зависимости от того, какой процент голосов получил Джонсон. ПА (который подтолкнул Трампа за 270 баллов в ночь на выборах) дал Джонсону всего 2%. NH (который пошел к Клинтону) дал 4% + Джонсону. Джонсон голосовал на уровне 4% -5% за день до выборов, и он получил примерно 3% в день выборов.

Так почему же либертарианцы внезапно переключились на день выборов? Никто не задумывался над тем, что было центральной проблемой для либертарианских избирателей. Они склонны рассматривать буквальное толкование Конституции как канон. Большинство людей, которые голосовали за Клинтон, не думали, что ее пренебрежение законом было достаточно высоким приоритетом, чтобы рассмотреть. Конечно, не выше всего, что им не нравилось в Трампе.

Независимо от того, были ли ее правовые проблемы важны или нет для других, они были бы важны для либертарианцев. Они будут уделять первоочередное внимание тому, чтобы не пускать на работу кого-то, кто рассматривает соблюдение законодательства как необязательное в лучшем случае. Таким образом, для многих из них удержание Клинтона от должности стало бы более важным приоритетом, чем утверждение, что либертарианская философия является жизнеспособной политической философией.

Многим из них, возможно, даже не понравился Трамп, но если бы они думали, что он будет более уважительно относиться к верховенству закона, чем Клинтон, прагматизм победил бы принципы для многих из них и заставил бы их изменить свой голос, когда он пришло время на самом деле голосовать.

Дмитрий Рубанович
источник
В NH живут все люди из проекта свободного государства. Процветающая либертарианская партия и активные сторонники.
Джон
@ Джон, NH Либертарианцы застряли с Джонсоном (4%). Трамп потерял государство на 1%.
Дмитрий Рубанович
Я это понимаю. Я пытался объяснить, что либертарианская партия сильна в NH.
Джон
@ Джон, но это не просто НХ. Миннесота: Джонсон 4%, Трамп потерял 2%; NV (более сложный аргумент, но тенденция сохраняется): Джонсон 3,5%, Трамп потерял 2%; Мэн: Джонсон 5%, Трамп потерял 3%; Колорадо Джонсон 5%, Трамп потерял 3%.
Дмитрий Рубанович
Afaik, опросы спрашивают о возможном переключении голосов, и прогнозы учитывают это. Есть ли у вас какая-либо информация, свидетельствующая о том, что до выборов существовала такая информация, которая не была учтена каким-либо прогнозом, или это чисто спекуляция?
Тим
1

Опросы не являются историческими тенденциями. Байесовец поинтересовался бы историческими тенденциями. Начиная с Авраама Линкольна, была президентская партия Республиканской партии и Демократическая партия. С тех пор тенденция изменения партий в Википедии 16 раз имеет следующую кумулятивную функцию массы

введите описание изображения здесь

Икс

Что заставило журналистов, Демократическую партию и социологов думать, что шансы на победу либералов были, пожалуй, желанными. Поведение может быть предсказуемым, в определенных пределах, но в этом случае демократы хотели, чтобы люди не голосовали за перемены, и с исторической точки зрения, более вероятно, что они будут, чем нет.

деревенщина
источник
0

Я думаю, что результаты опроса были экстраполированы до такой степени, что публика предположила, что демографические данные избирателей будут аналогичны демографическим характеристикам участников опроса и будут хорошим представлением всего населения. Например, если 7 из 10 меньшинств поддержали Хиллари в опросах, и если это меньшинство представляет 30% населения США, в большинстве опросов предполагалось, что 30% избирателей будут представлены этим меньшинством и переведены в этот 21% прирост для Хиллари. На самом деле белые мужчины среднего и высшего класса были лучше представлены среди избирателей. Голосовали менее 50% подходящих людей, и это не означало, что 50% от всех полов, рас и т. Д.

Или, опросы предполагали совершенную рандомизацию и основывали свои модели на этом, но в действительности данные об избирателях были смещены в сторону более старых мужчин среднего и высшего класса.

Или опросы точно не предполагали идеальную рандомизацию, но их параметры экстраполяции недооценивали неоднородность демографии избирателей.

ETA: Опросы предыдущих двух выборов прошли лучше из-за повышенного внимания к голосованию группами, которые обычно не представлены должным образом.

Брайан
источник
Насколько я знаю, все опросы основывают свои прогнозы на «вероятных избирателях». Я не могу себе представить опросы, в которых предполагается, что у 20-летнего человека такой же шанс проголосовать, как у 70-летнего. Более центральным кажется проблема: насколько вероятно, что кто-то проголосует?
Димпол
Учет демографии - самая простая часть. Вы просто пересчитываете свою выборочную популяцию на фактическую. Однако учесть явку избирателей и предубеждения, упомянутые в других ответах, намного сложнее.
Graipher
Существует много вариантов того, как социологи решают эти проблемы. Некоторые демографически перебалансированы или перебалансированы на основе партийной принадлежности, другие нет. Но, поскольку существуют различия в моделях, использующих средние опросы, конечный результат должен быть устойчивым к проблемам, характерным для одного метода выполнения этого, который не разделяется другими опросами, особенно после учета исторических предвзятых предубеждений (то есть эффектов дома) определенных избирательные операции. Проблемы в средних результатах опроса должны исходить из общих методов или эффектов, а не методов, характерных для каждого опроса.
Охвилеке
0

HoraceT и CliffAB (извините, слишком долго за комментарии) Боюсь, у меня есть целая жизнь примеров, которые также научили меня, что мне нужно быть очень осторожным с их объяснениями, если я хочу избежать оскорблений людей. Поэтому, пока я не хочу вашей снисходительности, я прошу вашего терпения. Поехали:

Чтобы начать с крайнего примера, я однажды увидел предложенный опросный вопрос, который задавал неграмотным сельским фермерам (Юго-Восточная Азия), чтобы оценить их «экономическую норму прибыли». Оставляя пока варианты ответов, мы можем надеяться, что все увидят, что это глупо, но последовательно объяснить, почему это глупо, не так просто. Да, мы можем просто сказать, что это глупо, потому что респондент не поймет вопрос и просто отклонит его как семантическую проблему. Но это действительно не достаточно хорошо в контексте исследования. Тот факт, что этот вопрос когда-либо предлагался, подразумевает, что у исследователей есть внутренняя изменчивость в том, что они считают «глупым». Чтобы решить эту проблему более объективно, мы должны сделать шаг назад и прозрачно объявить соответствующую основу для принятия решений по таким вопросам. Есть много таких вариантов,

Итак, давайте предположим, что у нас есть два основных типа информации, которые мы можем использовать в анализе: качественный и количественный. И что эти два связаны между собой трансформационным процессом, так что вся количественная информация начиналась как качественная информация, но проходила следующие (упрощенно) этапы:

  1. Соглашение (например, мы все решили, что [независимо от того, как мы его индивидуально воспринимаем], что мы все будем называть цвет дневного открытого неба «синим»).
  2. Классификация (например, согласно этой конвенции мы оцениваем все в комнате и разделяем все предметы на «синие» или «не синие» категории)
  3. Подсчитать (мы считаем / определяем количество синих вещей в комнате)

Обратите внимание, что (согласно этой модели) без шага 1 не существует такого понятия, как качество, и если вы не начнете с шага 1, вы никогда не сможете создать значимое количество.

После того, как заявлено, все это выглядит очень очевидным, но именно такие наборы первых принципов (как мне кажется) чаще всего игнорируются и поэтому приводят к «мусору».

Таким образом, «глупость» в вышеприведенном примере становится очень ясно определяемой как неспособность установить общее соглашение между исследователем и респондентами. Конечно, это крайний пример, но гораздо более тонкие ошибки могут быть одинаково порождающими мусор. Другой пример, который я видел, - это опрос фермеров в сельских районах Сомали, который задал вопрос: «Как изменение климата повлияло на вашу жизнедеятельность?». Опять же, отложив варианты ответа на данный момент, я бы предложил даже спросить фермеров на Среднем Западе. Соединенные Штаты могут привести к серьезному отказу от использования общего соглашения между исследователем и респондентом (то есть относительно того, что измеряется как «изменение климата»).

Теперь давайте перейдем к вариантам ответа. Позволяя респондентам самостоятельно кодировать ответы из набора вариантов с множественным выбором или аналогичной конструкции, вы продвигаете эту проблему «соглашения» и в этот аспект опроса. Это может быть хорошо, если мы все будем придерживаться эффективных «универсальных» соглашений в категориях ответов (например, вопрос: в каком городе вы живете? Категории ответов: список всех городов в области исследований [плюс «не в этой области»]). Тем не менее, многие исследователи на самом деле гордятся тонкими нюансами своих вопросов и категорий ответов для удовлетворения своих потребностей. В том же опросе, в котором появился вопрос о «уровне экономической отдачи», исследователь также попросил респондентов (бедных сельских жителей) указать, в какой сектор экономики они внесли свой вклад: с категориями ответов «производство», «обслуживание», «производство» и «маркетинг». Опять же, здесь возникает проблема качественного соглашения. Однако, поскольку он сделал ответы взаимоисключающими, так что респонденты могли выбрать только один вариант (потому что «так проще кормить SPSS»), а сельские фермеры регулярно производят зерновые культуры, продают свой труд, производят изделия кустарного промысла и принимают все, чтобы Сами местные рынки, этот конкретный исследователь не просто имел проблему соглашения со своими респондентами, у него был тот с самой реальностью.

Вот почему старые скучные люди, такие как я, всегда будут рекомендовать более трудоемкий подход применения кодирования к пост-сбору данных, поскольку, по крайней мере, вы сможете адекватно обучать программистов конвенциям, проводимым исследователями (и обратите внимание, что пытаясь передать такие соглашения респондентам в инструкции по опросу - это игра в кружку, просто поверь мне в этом). Также обратите внимание, что если вы принимаете вышеупомянутую «информационную модель» (которая, опять же, я не утверждаю, что вы должны), это также показывает, почему квази-порядковые шкалы ответов имеют плохую репутацию. Это не только основные математические вопросы в соответствии с соглашением Стивена (то есть вы должны определить значимое происхождение даже для ординалов, вы не можете добавлять и усреднять их и т. Д. И т. Д.), Кроме того, они часто никогда не проходили через какой-либо прозрачно объявленный и логически последовательный преобразовательный процесс, который мог бы составить «количественную оценку» (т. е. расширенную версию модели, использованной выше, которая также включает в себя генерацию «порядковых величин») - это не сложно сделать]). В любом случае, если она не удовлетворяет требованиям, предъявляемым к качественной или количественной информации, исследователь фактически заявляет, что обнаружил новый тип информации вне рамок, и поэтому на них лежит обязанность полностью объяснить ее фундаментальную концептуальную основу ( т.е. прозрачно определить новую структуру).

Наконец, давайте посмотрим на вопросы выборки (и я думаю, что это согласуется с некоторыми другими ответами уже здесь). Например, если исследователь хочет применить соглашение о том, что представляет собой «либерального» избирателя, он должен быть уверен, что демографическая информация, которую он использует для выбора режима выборки, соответствует этой конвенции. Этот уровень обычно легче всего идентифицировать и иметь с ним дело, поскольку он в значительной степени находится под контролем исследователя и чаще всего является типом предполагаемого качественного соглашения, которое открыто декларируется в исследованиях. Именно поэтому этот уровень обычно обсуждается или подвергается критике, в то время как более фундаментальные вопросы остаются без внимания.

Таким образом, хотя опрашивающие придерживаются таких вопросов, как «за кого вы планируете голосовать в данный момент?», Мы, вероятно, все еще в порядке, но многие из них хотят стать намного «более любопытными», чем эта…

Colin
источник