SurveyMonkey игнорирует тот факт, что вы получаете неслучайный образец?

11

SurveyMonkey имеет шаги и диаграмму, чтобы вы могли определить, какой размер выборки вам нужен для данного диапазона погрешности или доверительного интервала, исходя из размера вашей популяции.

Размер выборки SurveyMonkey

Эта диаграмма просто игнорирует тот факт, что вы не получите случайную выборку, поскольку вы получаете только людей, которые потрудились ответить на опрос?

Когда я набираю это, меня предупреждают, что вопрос кажется субъективным, поэтому, возможно, я не правильно его задаю. Дело не в SurveyMonkey, а в более общем вопросе - можете ли вы рассчитать доверительные интервалы по данным добровольного ответа, используя некоторые продвинутые методы, о которых я не знаю?

Очевидно, что в опросах на выходе или национальных опросах они должны решать эту проблему. Мое образование не охватывало методы выборочной выборки, но я предполагаю, что оно включает сбор демографических данных и их использование, чтобы узнать, насколько репрезентативна ваша выборка.

Но кроме этого, для простого онлайн-опроса, они просто предполагают, что люди, которые пытаются ответить, являются случайной выборкой населения?

матовый
источник

Ответы:

10

Короткий ответ - да: Survey Monkey точно игнорирует то, как вы получили свой образец. Survey Monkey недостаточно умен, чтобы предположить, что то, что вы собрали , не является удобной выборкой, но практически каждый опрос Survey Monkey является удобной выборкой. Это создает огромное расхождение именно в том, что вы оцениваете, что никакое количество чистой выборки не может / не сможет устранить. С одной стороны, вы можете определить население (и ассоциации в нем), которое вы получите от SRS. С другой стороны, вы можете определить популяцию, определенную вашей неслучайной выборкой, ассоциации там вы можетеоценка (и для таких значений действуют правила мощности). Вы, как исследователь, должны обсудить это несоответствие и позволить читателю точно решить, насколько достоверной может быть неслучайная выборка в приближении реальной тенденции.

Biasn=θθ^nθ^pθθ^pθв теории вероятностей. Эксперты по дизайну исследования (например, эпидемиологи) приобрели дурную привычку называть несоответствие «предвзятостью» В данном случае это смещение выбора или смещение добровольца. Это, безусловно, форма предвзятости, но непоследовательность подразумевает, что никакое количество выборок никогда не исправит проблему.

Чтобы оценить ассоциации на уровне населения по данным удобной выборки, вам необходимо правильно определить механизм вероятности выборки и использовать обратный весовой коэффициент вероятности во всех ваших оценках. В очень редких ситуациях это имеет смысл. Выявление такого механизма практически невозможно на практике. Время, когда это может быть сделано, находится в когорте людей с предыдущей информацией, к которым обращаются, чтобы заполнить опрос. Вероятность отсутствия ответа можно оценить как функцию от этой предыдущей информации, например, возраста, пола, SES, ... Взвешивание дает вам возможность экстраполировать результаты, которые были бы в популяции не отвечающих. Перепись является хорошим примером использования обратного взвешивания вероятности для такого анализа.

Adamo
источник
2
Не могли бы вы пояснить, в каком смысле удобная выборка может считаться непоследовательной, но не предвзятой ? Исторически сложилось так, что многие удобные образцы оказались сильно предвзятыми (и именно «предвзятый» - это именно тот термин, который люди использовали для их описания): опрос «Литературный дайджест» 1936 года , пожалуй, самый известный пример.
whuber
1
@whuber Прости меня за "непоследовательное" использование терминологии. Предполагалось, что смещение было большим отклонением в больших выборках, тогда как противоречивые оценки никогда не сходятся в больших выборках. В теории вероятностей примеров несовместимых оценок мало и далеко друг от друга, но с точки зрения дизайна исследования они возникают постоянно. Интересно, что эпидемиологи склонны называть это «предвзятостью» (то есть предвзятостью выбора). Но вопрос о постерах, казалось, предполагал, что «выборка больше» уменьшит смещение, как это может быть в случае смещения типа теории вероятностей.
AdamO
Я не уверен, что все это понял, поэтому позвольте мне сосредоточиться лишь на небольшой части: вы (или нет) утверждаете, что более крупные [удобные] образцы уменьшают смещение? Я надеюсь, что нет, потому что это, безусловно, ложь! (Это одна из причин, по которым опрос Литературного дайджеста печально известен: он является одним из самых крупных из когда-либо предпринятых и показал одно из самых больших отклонений.)
whuber
5
Действительно нет! Выборка большего количества не устранит такое внутреннее смещение. Это проблема здесь. Постер заинтересован в оценке силы ассоциации с неслучайной выборкой, и я хочу сказать, что у вас всегда есть 0 возможностей оценить это (если не используются очень осторожные и сложные механизмы взвешивания).
AdamO
1
Спасибо за последний комментарий; это проясняет часть вашего ответа, которую я мог бы неправильно истолковать. (+1)
whuber