Почему (?) Статистическая выборка должна работать для политики (например, Gallup)?

14

Опросы, проводимые там (скажем, Gallup), показывают неимоверно низкое количество людей по сравнению с численностью населения (например, возможно, тысяча человек из сотен миллионов).

Теперь для меня выборка населения как средство оценки статистики населения имеет смысл, когда у вас есть веские основания полагать, что выборки являются репрезентативными для населения (или, аналогично, других выборок ) .

Например, выборка, очевидно, имеет смысл для медицинских исследований, потому что мы априори знаем, что у всех людей есть довольно похожие геномы и что этот фактор заставляет их тела вести себя одинаково.
Обратите внимание, что это не какая-то слабая связь - геном является чертовски сильным определяющим фактором .

Однако я просто не понимаю, что оправдывает использование небольших выборок для таких вещей, как политические опросы.

Я мог бы купить, что, возможно, 80-90% людей в любом данном районе голосуют за президента одинаково (из-за схожих социально-экономических / образовательных условий), но это вряд ли оправдывает абсурдно низкое количество выборок. В буквальном смысле нет веской причины (по крайней мере для меня), почему 1000 случайных избирателей должны вести себя как 200 миллионов других избирателей.

Для меня вам нужно, по крайней мере, как (скажем) в 100 раз больше. Почему? Я могу придумать несколько причин, например:

  1. Всего в Калифорнии около 22 000 участков . Люди растут настолько по-разному в своем экономическом и образовательном плане, что опрос размером 1000 кажется смехотворно маленьким. Как вы можете суммировать целые участки с <1 человеком в среднем?

  2. Люди обычно не могут изменить реакцию своего тела на медицину, но они могут изменить свое мнение о политике, просто подумав об этом. На мой взгляд, в медицине нет никакого фактора воздействия, похожего на ДНК, когда вы занимаетесь политикой. В лучшем случае я предполагаю, что должны быть небольшие карманы корреляции.

Тем не менее, как-то опросы вроде этого ... все равно работают? Или, по крайней мере, люди, кажется, думают, что они делают?
Но почему они должны? Может быть, я просто принципиально не понимаю выборки ? Может кто-нибудь объяснить?
Я просто не могу воспринимать всерьез какие-либо опросы, которые я вижу, но я чувствую себя более или менее одиноким в этом ...

user541686
источник
4
«Выборка, очевидно, имеет смысл для медицинских исследований, потому что мы априори знаем, что у всех людей есть довольно похожие геномы» У меня нет медицинского образования, но действительно ли наша ДНК отличается меньше, чем наши политические взгляды? Если так, то почему так трудно изучать генетику и почему у нас уже не было полного понимания этого? Держу пари, что если вы возьмете двух случайных людей, то у них будет больше шансов иметь одинаковые политические взгляды, чем одну и ту же ДНК.
Тим
3
@Tim: «Я бы поспорил, что если вы возьмете двух случайных людей, у них, скорее всего, будут одинаковые политические взгляды, а затем одинаковая ДНК». Сколько вы хотите сделать ставку? google.com/search?q=dna+simility+between+humans
user541686
2
Но это не разница в 0,5% самое главное , когда вы делаете такие сравнения? Кроме того, мы делим 60% генов с мухами , так что я думаю, мы могли бы обменять людей и мух на обмен для медицинских исследований? Для сравнения: в 2008 году Обама получил 53% голосов на президентских выборах в США. Более того, я бы поспорил, что при исследовании жизненно важных, но потенциально опасных лекарств вам следует быть более осторожным при отборе проб, чем при исследовании предпочтений использования мыла, производимого компанией A, против B или для анализа мнений.
Тим
2
@ user2338816: «Это убедительно, потому что исторически оно было точным», но не столько математика, сколько наука. Я полностью готов купить его на научной основе (потому что так движется наука), а не на чисто математической (доказательной) основе.
user541686
1
Я бы оспорил (осторожное) утверждение, что опросы работают на выборы. Я не помню, чтобы опросы даже были близки к фактическим результатам выборов, откуда я родом. Просто слишком много факторов, которые вы не можете объяснить - например, с нашей ~ 60% посещаемостью, вы почти с такой же вероятностью выберете кого-то, кто не собирается голосовать, чем тот, кто этого не делает. Участие в опросе требует меньше усилий, чем голосование, и иногда вам даже платят за это. Некоторые партии имеют гораздо более высокую посещаемость, чем другие (например, коммунистическая партия). Вам необходимо указать отклонение, а также «результаты» в любой выборке.
Luaan

Ответы:

13

Кажется, вы представляете себе очень простую модель выборки.

Самая простая модель для выборки называется удачно простой случайной выборкой . Вы выбираете часть населения (например, путем случайного набора телефонных номеров) и спрашиваете, кто ответит, как они голосуют. Если 487 скажут Клинтон, 463 скажут Трамп, а остальные дадут вам какой-то дурацкий ответ, тогда избирательная фирма сообщит, что 49% избирателей предпочитают Клинтона, а 46% предпочитают Трампа. Тем не менее, избирательные фирмы делают гораздо больше, чем это. Простая случайная выборка дает равный вес каждой точке данных. Однако предположим, что в вашей выборке случайно - 600 мужчин и 400 женщин, что явно не является представителем населения в целом. Если мужчины в группе склоняются в одну сторону, а женщины - в другой, это повлияет на ваш результат. Однако, поскольку у нас довольно хорошая демографическая статистика, вы можете взвесить *ответы, подсчитывая ответы женщин немного больше, а мужчин немного меньше, так что взвешенный ответ лучше отражает население. У опросных организаций есть более сложные модели взвешивания, которые могут сделать нерепрезентативную выборку более похожей на репрезентативную.

Идея взвешивания выборочных ответов лежит на достаточно твердой статистической основе, но есть некоторая гибкость в выборе факторов, влияющих на весовые коэффициенты. Большинство социологов проводят переоценку веса на основе демографических факторов, таких как пол, возраст и раса. Учитывая это, вы можете подумать, что идентификация партии (демократическая, республиканская и т. Д.) Также должна быть включена, но оказывается, что большинство избирательных фирм не используют ее в своих весах: идентификация партии (само) идентифицируется с выбором избирателя. таким образом, что делает его менее полезным.

Многие организации для голосования также сообщают о своих результатах среди «вероятных избирателей». В них респонденты либо отбираются, либо взвешиваются на основе вероятности того, что они действительно окажутся на выборах. Эта модель, несомненно, также основана на данных, но точный выбор факторов обеспечивает некоторую гибкость. Например, включение взаимодействия между кандидатом и расой (или полом) избирателя было даже разумным до 2008 или 2016 года, но я подозреваю, что у них сейчас есть некоторая предсказательная сила.

Теоретически, вы можете включить в качестве весовых факторов все виды вещей: музыкальные предпочтения, цвет глаз и т. Д. Однако демографические факторы являются популярным выбором для весовых факторов, потому что:

  • Опытным путем они хорошо коррелируют с поведением избирателей. Очевидно, что нет железного закона, который «заставляет» белых людей быть стройными республиканцами, но за последние пятьдесят лет они были склонны к этому.
    • Значения численности населения хорошо известны (например, из переписи или записей актов гражданского состояния)

Однако опросчики также видят те же новости, что и все остальные, и могут при необходимости корректировать весовые переменные.

Есть также некоторые «факторы выдумки», которые иногда используются для объяснения результатов опроса. Например, респонденты иногда неохотно дают «социально нежелательные» ответы. Эффект Брэдли утверждает, что белые избиратели иногда преуменьшают свою поддержку белых кандидатов, баллотирующихся против меньшинства, чтобы избежать появления расистов. Он назван в честь Тома Брэдли, афроамериканского кандидата в губернаторы, который едва не проиграл выборы, несмотря на то, что комфортно лидировал в опросах.

Наконец, вы абсолютно правы в том, что сам факт запроса чьего-либо мнения может изменить его. Избирательные фирмы пытаются написать свои вопросы нейтральным образом. Чтобы избежать проблем с порядком возможных ответов, имена кандидатов могут быть перечислены в случайном порядке. Несколько версий вопроса также иногда проверяются друг против друга. Этот эффект также может быть использован для гнусных целей в пуш-опросе , где интервьюер на самом деле не заинтересован в сборе ответов, а во влиянии на них. Например, опрос может спросить: «Вы бы проголосовали за [кандидата А], даже если сообщалось, что он был растлителем детей?»).


* Вы также можете установить точные цели для вашего образца, например, 500 мужчин и 500 женщин. Это называется стратифицированной выборкой - популяция стратифицируется на разные группы, и каждая группа затем выбирается случайным образом. На практике это не так часто для опросов, потому что вам нужно разделить на множество исчерпывающих групп (например, мужчины с 18-24 года в Городском Техасе с высшим образованием).

Мэтт Краузе
источник
2
Я определенно понимаю , что они не делают простую случайную выборку, но мой вопрос о том , что они будут делать это только хорошо только потому , что это происходит , что их предположения верны (т.е. разумной , но субъективная догадка), или предположения , также статистически оправданный. Смотрите мой комментарий на другой ответ здесь .
user541686
3
Оба, я думаю. Взвешивание выборки - это статистически правильная вещь, но есть .... гибкость в выборе способа выбора факторов, влияющих на весовые коэффициенты. Например, раса, пол и образование полезны, но оказывается, что идентификация партии часто не является (например, theguardian.com/commentisfree/2012/sep/27/… ), вероятно, потому что она связана с кандидатом избирателя. выбор.
Мэтт Краузе
1
Точно так же весовые коэффициенты иногда включают оценку вероятности голосования респондента: молодые люди много шумят, но не всегда появляются; пожилые люди редко посещают митинги, но с уверенностью приходят на выборы. Это можно оценить по историческим данным (списки избирателей иногда бывают публичными), но я могу представить, что некоторые места с поправкой на афро-американцев в 2008 году и на женщин в 2016 году.
Мэтт Краузе,
Благодарность! Хорошо бы упомянуть и об «гибкости» в вашем ответе :) +1
user541686
10

Есть математическая теорема, которая называется «закон больших чисел». Представьте, что вы хотите определить вероятность появления монеты в голове. «Население» подбрасываний монет бесконечно - намного больше, чем 300 000 000 человек в Соединенных Штатах. Но согласно закону больших чисел, чем больше монет вы подбрасываете, тем точнее будет ваша оценка.

Идеальный опрос: В идеальном опросе, избиратели будут случайным образом выбирать имена из переписи населения США, узнавать, где живут эти люди, а затем идти и стучать в их двери. Если человек говорит, что планирует голосовать, опросчик спрашивает, за кого он голосует, и записывает свой ответ. Опрос, подобный этому, математически гарантированно работает, и количество ошибок в ваших измерениях для любого заданного уровня достоверности может быть легко вычислено .

Вот что означает ошибка: Предположим, что, исходя из вашего опроса, вы получили 52-процентную вероятность того, что Кандидат Awesome McPerfect победит, с 3% -ной ошибкой с 98% -ной достоверностью. Это означает, что вы можете быть на 98% уверены, что истинная доля избирателей, поддерживающих кандидата Awesome McPerfect, составляет от 49% до 55%.

Замечание об ошибке и достоверности Для данного размера выборки, чем увереннее вы будете, тем больше будет ваша ошибка. Подумайте об этом - вы на 100% уверены, что истинная доля, поддерживающая кандидатуру Awesome, составляет от 0% до 100% (максимально возможная ошибка), и вы на 0% уверены, что истинная доля, поддерживающая кандидатуру Awesome, составляет точно 52,0932840985028390984308% (ноль ошибок). Большее доверие означает больше ошибок, меньшее доверие означает меньше ошибок. Однако связь между доверием и ошибкой НЕ является линейной! (См .: https://en.wikipedia.org/wiki/Confidence_interval )

Опросы в реальном мире: потому что вертолетные опросы во все части страны обходятся дорого, чтобы постучать в двери случайных людей (хотя я бы хотел, чтобы это произошло; если вы миллиардер и вы это видите, пожалуйста, рассмотрите возможность финансирования), опросы в реальном мире более сложны. Давайте посмотрим на одну из наиболее распространенных стратегий - вызвать случайных избирателей и спросить их, за кого они будут голосовать. Это хорошая стратегия, но в ней есть некоторые общеизвестные недостатки:

  1. Люди часто предпочитают не отвечать на телефонные звонки и отвечать на опросов (например, меня)
  2. У некоторых демографических групп больше шансов на стационарный телефон (например, у пожилых избирателей)
  3. Некоторые демографы более склонны отвечать на опросов (например, пожилых избирателей)

Поскольку разные демографические группы голосуют по-разному, избиратели должны сделать все возможное, чтобы контролировать различия в своих исходных данных (в зависимости от того, кто решил ответить на телефонные звонки) и результаты реальных выборов. Например, если 10% людей, которые подняли трубку, были латиноамериканцами, но 30% избирателей на последних выборах были латиноамериканцами, то они собираются в три раза увеличить вес латиноамериканских избирателей в своем опросе. Если 50% людей, ответивших на звонок, были старше 60 лет, но только 30% проголосовавших на последних выборах были старше 60 лет, они будут придавать меньший вес старшим избирателям, которые ответили. Это не идеально, но это может привести к некоторым впечатляющим предсказаниям (Нейт Сильвер правильно предсказал результаты в каждом из 50 штатов на выборах 2012 года, используя статистику,

Мудрое предостережение: опрашивающие делают лучшие прогнозы, какие только могут, исходя из того, как все сложилось в прошлом. Вообще говоря , сейчас все происходит примерно так же, как и в прошлом, или, по крайней мере, изменения происходят достаточно медленно, чтобы недавнее прошлое (на котором они больше всего фокусировались) напоминало настоящее. Однако иногда происходят быстрые изменения в электорате, и все идет не так. Возможно, избиратели Трампа немного реже, чем ваш средний избиратель, ответят на звонок, и взвешивание по демографии не учитывает этого. Или может быть молодые люди (которые в подавляющем большинстве поддерживают Хиллари) еще большевряд ли ответит на звонок, как предсказывают модели, а ответившие на звонок, скорее всего, будут республиканцами. Или, может быть, верно противоположное тому и другому - мы не знаем. такие вещи являются скрытыми переменными, которые не отображаются в общедоступных демографических данных.

Мы бы знали, послали ли мы опросчиков, чтобы постучать в случайные двери (хм, мнимые миллиардеры читают это), с тех пор нам не пришлось бы взвешивать вещи, основываясь на демографии, но до тех пор пальцы скрещивались.

Х. Антонио Перес
источник
3
Я ценю ответ, но он немного элементарен относительно вопроса, который я пытался задать, и моего фона (не уверен, что вы заметили, но я не совсем новичок в основах вероятности / статистики); Я не думаю, что ответ на мой вопрос здесь так же прост, как и ваш. Например: предположение для классического закона больших чисел является то , что мы имеем случайные величины с одинаковыми распределениями ... но я не вижу основания для этого в политическом контексте: почему должна распределением вы положили на моем голосе и твоих будет то же самое вообще ?
user541686
Кроме того, я даже не уверен, что закон больших чисел оправдывает то, что вы пытались оправдать, даже если его предположения выполнены. Вопрос заключается в размерах выборки, которые на самом деле не учитывает закон больших чисел (по крайней мере, не так, как вы предлагали); нам нужно некоторое представление о дисперсии или скорости сходимости, а не просто о сходимости среднего на бесконечности. Может быть, вы хотели использовать центральную предельную теорему, а не закон больших чисел? (Хотя, пожалуйста, смотрите мой предыдущий комментарий, так как это, вероятно, спорный вопрос.)
user541686
2
Распределения не применяются к отдельным голосам. Отдельные голоса не случайны. Они применяются к поведению избирателей в целом. Это похоже на рисование цветных шариков из урны - каждый шарик предопределен красным или синим, но вы можете иметь вероятность рисования каждого цвета, и поэтому вы можете построить распределение вероятности рисования шарика определенного цвета на основе образца. из шаров в урне
Х. Антонио Перес
1
Давайте посмотрим на что-то, кроме политики с людьми. Чей-то любимый вкус мороженого зависит от такого же количества вещей, как и его политические взгляды. Это может зависеть от предпочтений их друзей, приятных воспоминаний о детстве, хорошего или плохого опыта в кафе-мороженом. Возможно, им нравится один аромат, потому что они получили его на первом свидании с женой или мужем. Возможно, им не нравится вкус, потому что он напоминает им об их бывшем. Но если бы я провел выборочный опрос людей в Америке, разве вы не согласились бы с тем, что я могу судить о самых любимых ароматах мороженого в Америке?
Х. Антонио Перес
1
«Случайная переменная» - это какой человек выбирается опросчиком, чтобы спросить его предпочтения. Предпочтение человека не случайно; какой человек выбирает опросчик, является случайным.
Х. Антонио Перес
7

Во-первых, это помимо ваших основных моментов, но стоит упомянуть. В медицинском исследовании у вас может быть 1000 человек, которые тестируют препарат, который можно давать 10000 людям, которые болеют ежегодно. Вы можете посмотреть на это и подумать: «Это тестируется на 10% населения», на самом деле это не 10000 человек, это все будущие пациенты, поэтому численность населения бесконечна. 1000 человек невелики по сравнению с бесконечными потенциальными потребителями наркотиков, но исследования такого рода работают. Не важно, тестируете ли вы 10%, 1% или 0,1% населения; важен абсолютный размер выборки, а не ее размер по сравнению с населением.

Далее, ваша главная мысль заключается в том, что существует так много смешанных переменных, которые могут повлиять на голосование людей. Вы рассматриваете 22000 районов Калифорнии как 22000 переменных, но на самом деле это всего лишь несколько переменных (доход и образование, как вы упомянули). Вам не нужна репрезентативная выборка из каждого района, вам просто нужно достаточно выборки, чтобы покрыть разницу в зависимости от дохода, образования и т. Д.

kknnσ2nkkσ2n .

kn . Поэтому дисперсия среднего по выборке довольно мала.

Редактировать:

Приведенная выше формула предполагала, что каждая смешанная переменная одинаково важна. Если мы хотим рассмотреть сотни вещей, которые могут добавить дисперсию к результатам, то это предположение неверно (например, может быть, пользователи твиттера поддерживают одного кандидата больше, но мы знаем, что использование твиттера не так важно, как пол).

σ20.9σ20.92σ2n=0σ20.9n=10σ2

n10σ2n0.9

Хью
источник
Спасибо за ответ! Что касается первого пункта, я предполагаю, что это правда, но моя точка зрения заключалась в том, что даже не имеет значения, каков размер человеческой популяции, так как у вас есть фактор воздействия (ДНК и т. Д.), Который сделает результаты довольно похожими для любой образец. Что касается второго, хотя: я могу купить, что на практике может быть несколько переменных, но единственный способ математически обосновать это предположение и использовать его позже - на самом деле сначала отобрать большое количество людей и продемонстрировать его, верно? Без этого заключение больше не кажется статистически строгим или оправданным.
user541686
Мы экспериментальным путем установили, что возраст, пол, доход и некоторые другие факторы являются ключевыми факторами в модели голосования людей, и мы также знаем это только из общих знаний. Вы правы, что могут быть сотни других небольших факторов, которые влияют на голоса, и теоретически они могут составить что-то существенное, но наши общие знания говорят нам, что они не важны. На данный момент модель не является строго обоснованной, но кто собирается проверить незначительные факторы, такие как «Блондинка заставляет людей голосовать за Клинтона? Заставляет ли человек носить парик за Трампа?».
Хью
«но кто собирается проверять второстепенные факторы, такие как [...]» - но это проблема здесь. Если ответ «потому что это лучшее, что мы можем сделать практически / потому что это так работает / потому что иначе дорого / и т. Д.», То это прекрасный ответ на вопрос «Почему они не опрашивают 100 000 человек? ", но это не совсем ответ на вопрос" Как 1000 человек могут быть статистически оправданы? " Вот почему я спрашиваю об этом на Stats.SE, а не на Politics.SE ... Мне все равно, будет ли больше образцов нецелесообразным; Мой вопрос заключается в том, почему люди считают, что нынешние методы являются статистически обоснованными.
user541686
Первые пару фраз в последний комментарий , кажется, разумный ответ , хотя, если вы говорите, что такого рода исследования было сделано в больших масштабах (~ сотни тысяч , если не миллионы людей) , и что это основа наших предположений. Если так, то я думаю, что они должны быть добавлены к вашему ответу, поскольку они касаются сути моего вопроса (в идеале, с некоторой цитатой, хотя я не могу быть слишком разборчивым, учитывая, что это немного касательно, и это не Politics.SE ).
user541686
Вы правы, что тестирование незначительных факторов нецелесообразно, но математически уместно. Я отредактировал свой ответ, чтобы объяснить, почему нас не волнуют сотни мелких факторов, влияющих на результат. Я уверен, что вы можете найти исследования, проведенные по влиянию основного фактора.
Хью