Есть ли в США известная предвзятость по поводу телефонных опросов?

Я смотрел опрос WashingtonTimes / ABC, и разбивка результатов, особенно по возрасту, показалась мне неожиданной. Поэтому я пошел искать предвзятость.

В нем говорится: «Опрос проводился по телефону 11-14 декабря 2014 года среди случайной выборки из 1000 взрослых. Интервью проводились на английском и испанском языках по стационарным и мобильным телефонам».

Опрос не дал мне числа респондентов в каждой возрастной группе, и моя первая мысль была о том, какой 18-29 лет дома, чтобы ответить на телефон ?! Хорошо, они включают в себя сотовую связь, что делает его более справедливым. Но все же, какой 18-29 лет отвечает на свой мобильный телефон, его спрашивают, хотят ли они пройти опрос, и говорит: «Да, конечно».

(Я не имею в виду это как риторический вопрос; я догадываюсь, что определенные группы гораздо более вероятны, например, кому-то с низкой самооценкой может понравиться процесс опроса своего мнения незнакомцем по телефону.)

Итак, есть ли исследования по этой теме? Выберет ли организация, заинтересованная в манипулировании общественным мнением, телефонный опрос, онлайн-опрос или собеседование на улице, если они следуют за определенным предубеждением?

Есть хорошее исследование Пью, которое рассматривает, насколько снизились показатели отклика, а также каковы последствия.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

«Новое исследование, проведенное Исследовательским центром« Люди и пресса »им. Пью, показывает, что, несмотря на снижающиеся показатели отклика, телефонные опросы, которые включают стационарные телефоны и мобильные телефоны и имеют вес, соответствующий демографическому составу населения, продолжают предоставлять точные данные по большинству политических социальные и экономические меры. Это согласуется с последовательной оценкой точности, достигнутой в ходе крупных опросов, когда речь идет, помимо прочего, об оценке результатов выборов.

«Это не означает, что снижение уровня ответов не имеет последствий. Одна значительная область потенциального смещения без ответа, выявленная в исследовании, заключается в том, что участники опроса, как правило, значительно больше вовлечены в гражданскую деятельность, чем те, кто не участвует, подтверждая, что предыдущий Исследования показали, что люди, которые добровольно участвуют в опросах, с большей вероятностью согласятся принять участие в опросах, чем те, кто этого не делает. Это имеет серьезные последствия для способности опроса точно оценивать поведение, связанное с добровольчеством и гражданской активностью. Например, телефонные опросы. может переоценивать такое поведение, как посещение церкви, контакты с выборными должностными лицами или участие в предвыборных мероприятиях ».

Есть ли в США известная предвзятость по поводу телефонных опросов?

Да, в США существует известная ошибка в телефонных опросах: мобильные телефоны.

Долгое время золотым стандартом рандомизированных телефонных опросов в США был случайный набор номера: машины генерировали случайные телефонные номера, а опрашивающие задавали вопросы тому, кто их взял. Предполагая, что у всех был один и только один телефон, опрос был простой случайной выборкой владельцев телефонов.

Однако появление мобильных телефонов изменило это: многие люди, особенно молодые, не имеют стационарного телефона. Даже в рамках конкретной демографии (возраст, пол, раса) эти группы населения, имеющие только мобильные телефоны, имеют отличные политические взгляды от групп населения со стационарными телефонами или с обоими типами телефонов. Поскольку автоматические дозвонщики не могут звонить на мобильные телефоны, это наносит ущерб опросам.

Для социологов это означает, что они должны использовать людей, чтобы звонить на все мобильные телефоны, что, очевидно, намного дороже. Таким образом, социологи должны априори решить, сколько мобильных телефонов им нужно позвонить, чтобы контролировать расходы. Количество звонков на мобильные телефоны должно быть научно-обоснованно сбалансировано с количеством автоматических звонков на стационарные телефоны - набирайте достаточное количество домов, предназначенных только для мобильных телефонов, домов и домов только на стационарных телефонах, и пропорционально их распространенности среди населения, хотя и не превышение их бюджета!

Эффект мобильных телефонов, вероятно, не является источником потенциального смещения.

Я подозреваю , что опросы общественного мнения , что опрос Washington Times / ABC используется хорошо знает все это, так как построить случайную выборку в свете «эффект телефона» это в значительной степени тема , что весь современный политический опрос имеет дело сегодня. Таким образом, вполне вероятно, что опросы общественного мнения предприняли шаги, чтобы смягчить "эффект мобильного телефона" в этом опросе. Однако, возможно, у избирателей был плохой день, и их случайный набор номеров мобильных телефонов не дал достаточно реальных ответов.

Если есть смещение, это могут быть веса выборки.

Другим потенциальным источником смещения в этих опросах является взвешивание выборки. Цель взвешивания выборок состоит в том, чтобы сократить количество людей, которых вам необходимо охватить в различных (комбинациях) демографических групп, приписывая разные веса различным группам населения. Это, конечно, приводит к вопросу "как узнать, правильно ли вы взвесили выборку?" Вот почему некоторые избирательные фирмы будут иметь оценки, которые последовательно выше / ниже оценок других избирательных фирм: у них разные методы взвешивания выборки, и это последовательно выводит результат в определенном направлении.

Это пример компромисса с отклонением. Опросчики могли бы использовать небольшую простую случайную выборку для получения оценки высокой дисперсии. Или они могли бы использовать весовые коэффициенты для уменьшения отклонения оценки от небольшой выборки, но за счет (статистического) смещения.

Все опрашивающие (и статистики в целом) должны так или иначе бороться с компромиссной дисперсией. Это не обязательно означает, что они злые или пытаются манипулировать публикой.

Альтернативных объяснений предостаточно.

Есть много способов испортить опрос, случайно или намеренно. Перефразирование вопроса может дать разные ответы в разных группах. Push-опрос, в котором вопросы сформулированы так, чтобы получить конкретный ответ, является наиболее очевидным и гнусным примером этого.

Выберет ли организация, заинтересованная в манипулировании общественным мнением, телефонный опрос, онлайн-опрос или собеседование на улице, если они следуют за определенным предубеждением?

Этот вопрос не является полностью статистическим, поскольку он требует размышлений о мотивах и методах какой-то гипотетической, злой сущности. Я могу ответить только частично.

Собеседование с людьми на улице не является случайным и, вероятно, предвзятым (в том смысле, что оно будет включать некоторые группы в большей пропорции, чем другие).

Цель случайного набора номера состоит в том, чтобы достичь состояния, при котором каждый имеет равную вероятность выбора. Ходить на какой-нибудь перекресток и брать интервью у людей не совсем удается, потому что вы будете, как правило, включать людей, которые живут и работают поблизости. Если вы пойдете на улицу в Вашингтоне, округ Колумбия, у вас будет почти 0 шансов выбрать человека, который не из округа Колумбия, Мэриленда или Вирджинии.

Кроме того, подумайте, по какой улице вы идете. Интервью с людьми на улице, скажем, в районе Кливленд Парк в Вашингтоне, округ Колумбия, будет сильно отличаться от интервью с людьми на улице в Анакостии: эти места имеют очень четкий демографический состав.

Опрос людей онлайн не является действительно случайным, но неясно, хуже ли он, чем опрос по телефону.

Население людей, принимающих участие в онлайн-опросе, - это самоизбирающееся население, которое необязательно выбирается случайным образом из всех потенциальных респондентов. По этой причине традиционные опросы общественного мнения, которые предпочитают опросы по телефону, очень скептически относятся к онлайн-опросам. Однако такие люди, как Эндрю Гельман, менее уверены в том, что конечный результат произвольно набранного телефонного опроса и самостоятельного онлайн-опроса существенно отличается. Это очень открытая область исследований.

Выберет ли организация, заинтересованная в манипулировании общественным мнением, телефонный опрос, онлайн-опрос или собеседование на улице, если они следуют за определенным предубеждением?

Все методы опроса могут быть предвзятыми, включая некоторые другие, не упомянутые в вопросе.

Чтобы переоценить точку зрения старших, выберите телефонный опрос и «забудьте» нормализовать возрастные группы, зная, что более молодые респонденты были плохо представлены.

Уличный опрос без какой-либо установки и нормализации квот, вероятно, будет самым простым способом получить предвзятость. Согласно Sycorax, просто выберите свою улицу. Опрос в рабочее время или вне их также может изменить результаты. Я когда-то был уличным интервьюером. Мы работали по строгим квотам, объединяющим возрастной диапазон, пол и социальный класс, но в рамках этого я чувствовал свою собственную тенденцию приближаться к людям в пределах квоты, на которые мне нравился внешний вид (люди, которые были немного похожи на меня, если хотите), а чем люди в пределах квоты, которые имели менее непосредственную визуальную привлекательность. И я не думаю, что у них были квоты для типов интервьюеров!

Британские таблоидные газеты регулярно проводят «собственные» опросы «да / нет» своих собственных читателей, обычно по эмоциональному наводящему вопросу, сообщая о результатах, как если бы они были подлинным представителем опроса населения, и часто с большей известностью, чем собственно, с этической точки зрения. проведены опросы.

Как прокомментировал Энди Джонс, есть гораздо более простые способы смещения опроса. Выбор даты и времени, корректировка формулировок (особенно в опросах «До» и «После»), наводящие вопросы, директивные постановки настроения перед или вопросы с фильтрацией, редукционистские предположения, ограниченный выбор ответов и так далее. В Лондоне различные секции управления трафиком совета, управления парковкой и общественных консультаций, кажется, делают такие скрытые методы своей специальностью.

Как правило, если они вводят ограничения дорожного движения, они будут консультироваться только с жителями в пределах узкого соседнего района, а водители - вообще. Жители получат карточку с галочкой через дверь или, может быть, две карты в большом старом доме, который разделен на пять или семь отдельных квартир.

Действительно непобедимая форма предвзятости опроса, хотя и не является частью самого процесса опроса, состоит в том, чтобы проводить его любым способом (например, идеально), а затем просто подавлять результаты, если они не подходят. Ассоциация жителей района, в котором я когда-то жил, контролировалась железной рукой очень манипулирующего профсоюзного чиновника, именно это и сделала.

Наконец, в 2004 году, возвращаясь из отпуска в аэропорту Станстед, я обнаружил, что столкнулся с «дверным проемом», состоящим из двойной стены из плексигласа и детектора движения. Пассажиры были приглашены пройти через этот дополнительный дверной проем, если они хотели, чтобы Олимпиада прошла в Лондоне. Значительное меньшинство общественного мнения в то время не испытывало энтузиазма по поводу получения огромного счета за тщеславное мероприятие, напоминая о фискальном бремени Греции и коррупции в Юте, и команда London Back Bid пыталась заручиться поддержкой.

Вы можете пройти через дверной проем столько раз, сколько захотите, чтобы регистрировать «голос» (так его называли) каждый раз на Олимпиаду, к радости семей с маленькими детьми. Увы, они забыли предоставить второй вход для людей, которые не хотели большой счет в течение 30 лет, или для таких людей, как я, которые думали, что Париж достоин этого события.

Как ни странно, в советском стиле результат состоял в том, что 100% британцев хотели Олимпиаду. Я буду еще долго платить за них до выхода на пенсию. Удобные вещи, опросы.