Шестой вариант ответа («Я не знаю») был добавлен к 5-балльной шкале Лайкерта. Данные потеряны?

16

Мне нужна небольшая помощь в сборе данных из вопросника.

Один из моих коллег применил вопросник, но по неосторожности, вместо того, чтобы использовать оригинальную 5-балльную шкалу Лайкерта (категорически не согласен, чтобы полностью согласиться), он вставил 6-й ответ в шкалу. И, что еще хуже, 6-й вариант ответа: «Я не знаю».

Проблема заключается в большой доле респондентов, которые в тот или иной момент выбрали «я не знаю». Если бы они были достаточно малы, я бы просто исключил их из базы данных. Тем не менее, ядро ​​исследования лежит на концептуальной модели, и исключение такого количества записей создаст проблему для модели.

Может ли кто-нибудь указать мне правильное направление здесь? Существуют ли «хорошие практики» или я могу сделать что-нибудь, чтобы использовать (преобразовать, преобразовать и т. Д.) Те ответы «я не знаю»?

Кроме того, если я делаю какие-либо манипуляции с данными (то есть, если я преобразую ответы «я не знаю», путем подстановки, вменения и т. Д.), Какого рода «отказ от ответственности», «предупреждение», аннотация, я должен использовать?

Я знаю, что это далеко, но, признаюсь, помимо спасения ответов, мне также любопытно, какова согласованная практика (если таковая имеется) в подобных случаях.

PS: я знаю, это звучит по-детски, но нет, «коллега» не я :)

обтекаемый
источник
22
Представьте, что ваш коллега не включил категорию «Я не знаю». Что бы ответили эти люди? Возможно, они отметили бы какую-нибудь случайную категорию, возможно, они бы оставили это поле пустым. Теперь вы знаете, что ваши переменные являются проблемными и принять обоснованное решение. С этой точки зрения коллега оказал вам услугу.
Мартен Буис
Ну, что касается чесания моей головы, он действительно сделал мне одолжение ... Вы правы насчет случайности ответов, и это может быть подходом для вменения, однако мне было интересно, есть ли что-то хорошее практики или, по крайней мере, некоторые аналогичные события
упорядочить
4
Я нахожу расстраивающими вопросники, у которых нет такой опции « я не знаю » (особенно, когда вы не можете подать заявку без выбора чего-либо). Скажем так, вы задаете вопрос типа « Новые возможности этой космической ракеты - это улучшение », а затем вы в лучшем случае вынуждены быть нейтральным, некоторые люди могут тогда интерпретировать подобные исследования и сделать вывод: «Мы спросили 1000 люди, и 100% не возражали ... », тогда как на практике эта функция может быть полной ошибкой для тех, кто ее использует. В этих случаях это почти похоже на молчаливое одобрение того, что я не использовал.
Бруно
3
Чтобы быть более ясным: если модель предполагает, что 5-балльная шкала может представлять мнения респондентов, то ваши данные доказывают, что модель неадекватна . Если бы это было правильно, то у вас было бы незначительное число «я не знаю», потому что люди могли бы ответить 1-5. Таким образом, эти данные «создадут проблему для модели», как орбита Меркурия создает проблему для ньютоновской физики. Я бы подумал, что ваш единственный выход - если средняя точка «не согласен или не согласен», и вы можете привести довод, что «я не знаю» является излишним и имеет то же значение, что и это.
Стив Джессоп
Привет, @SteveJessop, хотя в теории / в принципе вы правы в том, что количество ответов DK указывает на проблему с вопросником (не модель, имейте в виду, модель не CFA для шкалы, а регрессия) для множества переменных, включая шкалу), все еще трудно назвать его неадекватным. Я сделаю анализ масштаба и увижу, и это правда, что число сдвигов ответов DK может оказаться проблематичным. Тем не менее, они также могут означать, что респонденту не хотелось отвечать (кстати, подавляющее большинство ответов ДК приходят от группы студентов после экзамена ...)
упорядочить

Ответы:

28

Зачем пытаться навязать калибровку на что-то, что не соответствует действительности? Как сказал Мартен, это не потеря данных, а получение информации. Если волшебная таблетка, которую вы ищете, существует, это будет означать, что существуют некоторые предположения о вашем населении, например, уклон в пользу одного конкретного ярлыка, даже если пользователи говорят «я не знаю».

Я полностью понимаю ваше разочарование, но правильный способ решения этой проблемы состоит в том, чтобы изменить модель в соответствии с вашими потребностями на основе реальных существующих данных, а не наоборот (модифицировать данные).

Хатим Хоузайми
источник
Привет, Хатим, я не верю, что можно изменить модель. Шкала является порядковой и предполагает аргументированный и явный выбор, в то время как шестой ответ «я не знаю» можно интерпретировать любым количеством способов. Это может означать, что «я никогда не сталкивался с этой ситуацией / не помню», это может означать «посреднический» выбор. Любое такое толкование / предположение от моего имени было бы самонадеянным и необоснованным. Ответ Мартена ссылался на «прирост» информации, который, как я понимаю, позволяет использовать определенное «рандомизированное» вменение, но это не то, что вы говорите - «модифицировать модель».
упорядочить
продолжение ... Однако, хотя я был и все еще испытываю желание заглянуть в такое «рандомизированное» вменение, большой объем ответов «я не знаю» заставляет меня опасаться, что истинные (подлинные) отношения между переменными будут изменено.
упорядочить
8
+1. Я знаю, что это неудобно, но у вас [ОП] есть выбор между поиском другого набора данных, если вы хотите проверить эту модель, или изменением запланированного анализа. Вы задали вопрос в надежде на разные ответы, но, на мой взгляд, нет никаких оправдывающих. Если бы я был респондентом такой анкеты, я бы чувствовал себя оскорбленным из-за искажения и отсутствия доверия, пытаясь отнестись к моему «Не знает», как к чему-либо еще. На самом деле, как случайный потребитель социальных исследований, я тоже смущен.
Ник Кокс
1
Вы, естественно, правы, что это случалось и раньше, и много раз. Вот почему те, кто имеет некоторый опыт проектов, которые были отклонены или усложнены непредвиденными проблемами, могут сказать, что анализ будет другим, и работа не будет такой воображаемой. Или даже, иногда проекты просто не работают, вот и все. (Если вас как-то просят или заставляют следовать, это особенно прискорбно, но это не влияет на мои советы о том, как об этом думать.)
Ник Кокс,
8
@ user2836366 Я не понимаю ваших утверждений о том, что модель нельзя изменить. Конечно, «Не знаю» не является частью обычного набора ответов, но это совершенно точно; «Не знаю» подразумевает, что по какой-либо причине (в том числе на самом деле знаю, зная) человек не выбрал один из порядковых ответов. Таким образом, одна из таких модификаций состоит в том, что у вас может быть какая-то модель для этого процесса (выберите «не знаю» против «выберите один из других вариантов»), а затем обычная модель для случаев во второй категории. Такие модели могут быть в некоторой степени похожи на модели с препятствиями или модели с нулевым уровнем инфляции.
Glen_b
10

Если это была стандартизированная анкета, которая была подтверждена независимо, то вы не можете утверждать, что новая анкета эквивалентна, и данные больше не сопоставимы. Вы можете попытаться проверить и изучить вопросник в отдельных экспериментах (очень много времени и усилий, особенно если вы также хотите показать сопоставимость со старой версией) или просто согласиться с тем, что вы имеете дело с более низким качеством доказательств (поскольку ваши данные поступают из неподтвержденной анкеты).

Когда вы используете свои данные, вы должны будете принять это во внимание. Столкнувшись с вопросом об отношении, люди не дают вам какой-то «объективно верный» ответ, они дают вам ответ, который, по их мнению, является правдой - и на это, безусловно, влияют оба варианта ответа (они «нормируют» свои ответы) в масштабе) и к знаниям, которые они имеют о предмете (существуют известные предубеждения, которые работают по-разному, иногда в разных направлениях (!), в зависимости от того, имеет ли участник много или мало знаний о предмете).

Итак, если мы имеем дело с установленным квестонайнером, у вас есть хороший вариант для сравнения вашей версии анкеты с оригинальной. Если оригинал предполагал, что люди знают, что они выбирают, и оказывается, что они не знают, вы можете обсудить, как старая модель основана на неправильных предположениях, и каковы последствия этого. Обратите внимание, что это «побочное» открытие, которое ставит новый хороший исследовательский вопрос, но отвлекает вас от исходного и действительно показывает, что ответить на исходный вопрос гораздо сложнее, чем предполагалось, поэтому, безусловно, умножает вашу работу.

Если вы не имеете дело с устоявшейся анкетой, вы можете свернуть поток и сделать вид, что ваша специальная анкета была спланирована таким образом, и соответственно оценить результаты. Опять же, это может означать, что результаты, на которые вы надеялись, не достижимы с помощью этого метода, но это также важно знать.

Для хорошего понимания того, как формулировки и варианты влияют на то, как ответы на вопросники, я предлагаю прочитать Tourangeau et al. "Психология ответа на опрос". Это отличное чтение для всех, кто когда-либо создает анкету.

rumtscho
источник
2

Если вы спросите, сколько детей родил респондент, ответы «ноль» и «не применимо» не будут означать строго одно и то же, поскольку мужчины не могут рожать.

В некоторых случаях приравнивание «я не знаю» к нейтральному ответу может быть также концептуальной ошибкой.

На самом деле, у вас есть два вопроса: дихотомический "У вас есть мнение?" и порядковый номер «Что это?», так же как и выше, у вас есть неявное «Вы женщина?» за пределами вашего явного вопроса.

Конечно, вы можете ввести некоторые допущения (иногда правильно, иногда просто для удобства, иногда принудительно), чтобы позволить вам какое-то моделирование, но я не вижу универсально применимой стратегии, не входя в сферу специфики вашего явления.

В качестве последнего пункта, о котором следует подумать, не имеет смысла пытаться сделать вывод для мужского населения о чем-то из ответов женской плодовитости.

Марсело Вентура
источник
2

Дилемма о том, следует ли включать или нет вариант ответа «Не знаю» в вопросник, состоящий из оценочных шкал типа Лайкерта, вечна. Часто, когда пункты спрашивают о мнении, DK включается, потому что отсутствие мнения само по себе является важным статусом, и респонденты ожидают такого выбора. В кадастрах личных качеств, где люди приписывают качества целевому варианту НЗ, обычно отбрасывается, потому что обычно ожидается, что респондент сможет оценить степень сродства характеристики (т.е. респондент всегда считается квалифицированным); и когда он иногда сталкивается с трудностями, ему разрешается (по инструкции) пропустить этот пункт. В личных описаниях черт, где люди описывают цель (элементы поведения) DK (или не

@Hatim в своем ответе @Maarten и некоторые другие комментаторы вопроса OP разумно утверждают, что большое количество ответов DK, наблюдаемых в текущем исследовании, указывают на проблемы (достоверность контента или достоверность лица) в предметах или что субъекты не не вписывается в анкету, заказанную им.

Но вы никогда не сможете рассказать историю, в конечном счете интерпретация препятствия лежит на вас (если вы не решите это в отдельном расследовании). Можно, например, утверждать, что включение опции DK в списки в этом вопроснике (скажем, это признак атрибута приписывания) служит плохим, а не хорошим. Это не дало вам информацию (о чем так говорят комментаторы it proves that the [rating] model is inadequate), а скорее отвлекло / соблазнило респондента. Если бы оно не было предоставлено, могло бы быть принято решение о рейтинге, основанное на неявной схеме когнитивных признаков; но видение опции охлаждения исключает схему и заставляет поспешно уйти.

Если вы в дальнейшем признаете - на свой страх и риск, но почему бы и нет? - что легко отвлекающийся или ленивый субъект - это тот, чей потенциал, сдержанный взгляд, действителен, но имеет тенденцию к слабой дифференциации, то есть он может легко вызвать обычную das Man вместо личной схемы Erlebnis , - тогда вы можете предположить предположения что его пропущенный ответ примерно соответствует среднему значению выборки или совокупности для этого элемента. Если так, то почему бы не подразумевать (+ шум) замену отсутствующих ответов? Или вы можете выполнить ЭМ или регрессионное (+ шум) вменение для учета корреляций.

Повторим: решение о вменении возможно, но рискованно, и маловероятно, учитывая большой объем отсутствующих данных, восстановить «истинно» отсутствующие данные. Как сказал @rumtscho, несомненно, что новая анкета с DK не эквивалентна оригинальной без DK, и данные больше не сопоставимы.

Это были спекуляции. Но, прежде всего, вы должны попытаться исследовать наблюдаемые закономерности пропуска. Кто эти предметы, которые выбрали ДК? Они объединяются в подтипы? Насколько они отличаются от остальных элементов из «нормального» подобразца? Некоторые программы имеют пакет анализа отсутствующих значений. Тогда вы можете решить, отбрасывать ли людей полностью или частично, или вменять в вину, или анализировать их как отдельную подвыборку.

PS Также отметим, что респонденты "тупые". Они часто просто смешиваются с оценками шкалы. Например, если точка DK была расположена близко к одному полюсу шкалы, ее часто путали из-за невнимательности к этому полюсу. Я не шучу.

ttnphns
источник
Привет, @ttnphns, Ну, твой ответ слишком длинный, чтобы рассматривать его по пунктам (я уже прокомментировал другие ответы о некоторых пунктах, которые ты поднял здесь). Если честно, мне придется пару раз прочитать это снова. Тем не менее, это касается всего, что я хотел.
упорядочить
0

Теперь у вас есть респонденты, отобранные для собственного мнения по этому вопросу. Все, что вы сделаете, будет исключительно об этих людях. Это может быть хорошо, так как опрос "не знает" по определению менее полезен.

Аарон Брик
источник
2
Droll, но слишком пессимистично. Эти люди предложили аргументы в отношении того, что можно, что нельзя, не следует делать, и это аргументы, которые следует взвесить. Тот же ответ может быть дан в любой теме, но те, кто не говорит, не имеют права голоса.
Ник Кокс