Я нахожусь в процессе эмпирической разработки вопросника, и я буду использовать произвольные числа в этом примере для иллюстрации. Для контекста я разрабатываю психологическую анкету, нацеленную на оценку моделей мышления, которые обычно выявляются у людей с тревожными расстройствами. Элемент может выглядеть так: «Мне нужно проверять духовку несколько раз, потому что я не уверен, что она выключена ».
У меня есть 20 вопросов (по 5-балльной шкале Лайкерта), которые могут состоять из одного или двух факторов (обратите внимание, что на самом деле у меня есть ближе к 200 вопросам, состоящим из 10 шкал, и каждая шкала может состоять из двух факторов). Я готов стереть около половины пунктов, оставив 10 вопросов по одному из двух факторов.
Я знаком с исследовательским анализом факторов (EFA), внутренней согласованностью (альфа Кронбаха) и характеристическими кривыми элементов в теории откликов элементов (IRT). Я могу видеть, как бы я использовал любой из этих методов, чтобы определить, какие элементы являются «худшими» в любом масштабе. Я ценю, что каждый метод также отвечает на разные вопросы, хотя они могут привести к схожим результатам, и я не уверен, какой «вопрос» является наиболее важным.
Прежде чем мы начнем, давайте удостоверимся, что я знаю, что я делаю с каждым из этих методов в отдельности.
Используя EFA, я бы определил число факторов и удалил элементы, которые загружают меньше всего (скажем, <.30) по их соответствующему коэффициенту или которые существенно пересекаются между факторами.
Используя внутреннюю согласованность, я бы удалил элементы, которые имеют худшую «альфа, если элемент удален». Я мог бы сделать это, предполагая один фактор в моей шкале, или сделать это после первоначального ОДВ, чтобы определить число факторов и затем запустить мою альфу для каждого фактора.
Используя IRT, я бы удалил элементы, которые не оценивают фактор интереса, по их вариантам ответа (5 Лайкерта). Я бы посмотрел характерные кривые предмета. Я бы в основном искал линию под углом 45 градусов, идущую от варианта 1 по шкале Лайкерта вплоть до 5 по скрытому счету. Я мог бы сделать это, предполагая один фактор, или сделать это после начального
EFA, чтобы идентифицировать число факторов, и затем запустить кривые для каждого фактора.
Я не уверен, какой из этих методов использовать, чтобы наилучшим образом определить, какие элементы являются «худшими». Я использую наихудшее в широком смысле слова, так что этот предмет может нанести ущерб как с точки зрения надежности, так и достоверности, оба из которых одинаково важны для меня. Предположительно я могу использовать их в сочетании, но я не уверен, как.
Если бы я хотел продолжить с тем, что я знаю сейчас, и сделать все возможное, я бы сделал следующее:
- Сделайте EFA, чтобы определить количество факторов. Также удаляйте элементы с плохой загрузкой с учетом их соответствующих факторов, поскольку я не хочу, чтобы элементы, которые загружаются плохо, независимо от того, как они поступили бы в других анализах.
- Проведите IRT и удалите плохие предметы, судя по этому анализу, если таковые остались от EFA.
- Просто сообщите Альфу Кронбаха и не используйте этот показатель в качестве средства для удаления элементов.
Любые общие рекомендации будут с благодарностью!
Вот также список конкретных вопросов, на которые вы можете ответить:
В чем практическая разница между удалением элементов на основе факторной загрузки и удалением элементов на основе альфа-версии Chronbach (при условии, что для обоих анализов вы используете одну и ту же схему коэффициентов)?
Что мне делать в первую очередь? Предполагая, что я делаю EFA и IRT с одним фактором, и оба идентифицируют различные пункты, которые должны быть удалены, какой анализ должен иметь приоритет?
Я не сильно настроен на выполнение всех этих анализов, хотя я буду сообщать альфа Chronbach независимо. Я чувствую, что выполнение только IRT оставило бы что-то недостающее, и точно так же только для EFA.
Ответы:
У меня нет никаких ссылок, но вот что я бы предложил:
Zeroth: Если это вообще возможно, разделите данные на тренировочный и тестовый набор.
Сначала сделайте EFA. Посмотрите на различные решения, чтобы увидеть, какие из них имеют смысл, основываясь на ваших знаниях вопросов. Вам придется сделать это до альфы Кронбаха, или вы не будете знать, какие элементы входят в какой фактор. (Запуск альфы на ВСЕХ предметах, вероятно, не очень хорошая идея).
Затем запустите альфа и удалите элементы, которые имеют гораздо худшие корреляции, чем другие в каждом факторе. Я бы не стал устанавливать произвольное ограничение, я бы искал те, которые были намного ниже, чем другие. Посмотрите, имеет ли смысл их удаление.
Наконец, выбирайте предметы с различными уровнями сложности из IRT.
Затем, если возможно, переделайте это на тестовом наборе, но не исследуя его. То есть посмотрите, насколько хорошо результат, найденный на тренировочном наборе, работает на тестовом наборе.
источник
Все три предложенных вами критерия действительно могут быть выполнены в IRT, более конкретно, в многомерном IRT. Если размер вашей выборки достаточно велик, вероятно, это будет последовательный способ сделать это для каждой подшкалы. Таким образом, вы можете получить преимущества IRT для самостоятельного моделирования элемента (используя номинальные модели для некоторых элементов, обобщенный частичный кредит или оцениваемые для других, или, если возможно, даже устанавливайте шкалы оценок, чтобы помочь интерпретировать политомные элементы более экономным образом).
Вы можете попытаться удалить элементы, которые не соответствуют одномерным требованиям большинства программного обеспечения IRT, но я не обязательно рекомендую это, если это влияет на теоретическое представление конструкций под рукой. В эмпирических приложениях обычно лучше попытаться привести наши модели в соответствие с нашей теорией, а не наоборот. Кроме того, именно здесь, как правило, целесообразно использовать двухфакторные / двухуровневые модели, поскольку вы хотели бы включить все возможные элементы, учитывая многомерность систематическим и теоретически желательным образом.
источник
mirtfscores()sirtTAM