Как уменьшить количество элементов, используя факторный анализ, внутреннюю согласованность и теорию отклика элементов в сочетании?

12

Я нахожусь в процессе эмпирической разработки вопросника, и я буду использовать произвольные числа в этом примере для иллюстрации. Для контекста я разрабатываю психологическую анкету, нацеленную на оценку моделей мышления, которые обычно выявляются у людей с тревожными расстройствами. Элемент может выглядеть так: «Мне нужно проверять духовку несколько раз, потому что я не уверен, что она выключена ».

У меня есть 20 вопросов (по 5-балльной шкале Лайкерта), которые могут состоять из одного или двух факторов (обратите внимание, что на самом деле у меня есть ближе к 200 вопросам, состоящим из 10 шкал, и каждая шкала может состоять из двух факторов). Я готов стереть около половины пунктов, оставив 10 вопросов по одному из двух факторов.

Я знаком с исследовательским анализом факторов (EFA), внутренней согласованностью (альфа Кронбаха) и характеристическими кривыми элементов в теории откликов элементов (IRT). Я могу видеть, как бы я использовал любой из этих методов, чтобы определить, какие элементы являются «худшими» в любом масштабе. Я ценю, что каждый метод также отвечает на разные вопросы, хотя они могут привести к схожим результатам, и я не уверен, какой «вопрос» является наиболее важным.

Прежде чем мы начнем, давайте удостоверимся, что я знаю, что я делаю с каждым из этих методов в отдельности.

  • Используя EFA, я бы определил число факторов и удалил элементы, которые загружают меньше всего (скажем, <.30) по их соответствующему коэффициенту или которые существенно пересекаются между факторами.

  • Используя внутреннюю согласованность, я бы удалил элементы, которые имеют худшую «альфа, если элемент удален». Я мог бы сделать это, предполагая один фактор в моей шкале, или сделать это после первоначального ОДВ, чтобы определить число факторов и затем запустить мою альфу для каждого фактора.

  • Используя IRT, я бы удалил элементы, которые не оценивают фактор интереса, по их вариантам ответа (5 Лайкерта). Я бы посмотрел характерные кривые предмета. Я бы в основном искал линию под углом 45 градусов, идущую от варианта 1 по шкале Лайкерта вплоть до 5 по скрытому счету. Я мог бы сделать это, предполагая один фактор, или сделать это после начального
    EFA, чтобы идентифицировать число факторов, и затем запустить кривые для каждого фактора.

Я не уверен, какой из этих методов использовать, чтобы наилучшим образом определить, какие элементы являются «худшими». Я использую наихудшее в широком смысле слова, так что этот предмет может нанести ущерб как с точки зрения надежности, так и достоверности, оба из которых одинаково важны для меня. Предположительно я могу использовать их в сочетании, но я не уверен, как.

Если бы я хотел продолжить с тем, что я знаю сейчас, и сделать все возможное, я бы сделал следующее:

  1. Сделайте EFA, чтобы определить количество факторов. Также удаляйте элементы с плохой загрузкой с учетом их соответствующих факторов, поскольку я не хочу, чтобы элементы, которые загружаются плохо, независимо от того, как они поступили бы в других анализах.
  2. Проведите IRT и удалите плохие предметы, судя по этому анализу, если таковые остались от EFA.
  3. Просто сообщите Альфу Кронбаха и не используйте этот показатель в качестве средства для удаления элементов.

Любые общие рекомендации будут с благодарностью!

Вот также список конкретных вопросов, на которые вы можете ответить:

  1. В чем практическая разница между удалением элементов на основе факторной загрузки и удалением элементов на основе альфа-версии Chronbach (при условии, что для обоих анализов вы используете одну и ту же схему коэффициентов)?

  2. Что мне делать в первую очередь? Предполагая, что я делаю EFA и IRT с одним фактором, и оба идентифицируют различные пункты, которые должны быть удалены, какой анализ должен иметь приоритет?

Я не сильно настроен на выполнение всех этих анализов, хотя я буду сообщать альфа Chronbach независимо. Я чувствую, что выполнение только IRT оставило бы что-то недостающее, и точно так же только для EFA.

Behacad
источник
Если вы решите добиться валидности конструкции через FA, вам, конечно, следует начать с FA (после отбора элементов с «плохими», например, слишком перекосами). Ваше взаимодействие с ФА будет сложным и повторяющимся. После отбрасывания большинства «слабых» элементов, повторно запустите FA, проверьте индекс KMO, степень восстановления корреляций, интерпретируемость коэффициента, проверьте, удаляются ли еще элементы, затем
выполните
1
Вы удаляете элементы с наивысшим значением «альфа, если элемент удален», а не с наименьшим ...
Странно! Что касается этого основного вопроса, у нас нет признанного ответа в течение 3 лет.
WhiteGirl

Ответы:

3

У меня нет никаких ссылок, но вот что я бы предложил:

Zeroth: Если это вообще возможно, разделите данные на тренировочный и тестовый набор.

Сначала сделайте EFA. Посмотрите на различные решения, чтобы увидеть, какие из них имеют смысл, основываясь на ваших знаниях вопросов. Вам придется сделать это до альфы Кронбаха, или вы не будете знать, какие элементы входят в какой фактор. (Запуск альфы на ВСЕХ предметах, вероятно, не очень хорошая идея).

Затем запустите альфа и удалите элементы, которые имеют гораздо худшие корреляции, чем другие в каждом факторе. Я бы не стал устанавливать произвольное ограничение, я бы искал те, которые были намного ниже, чем другие. Посмотрите, имеет ли смысл их удаление.

Наконец, выбирайте предметы с различными уровнями сложности из IRT.

Затем, если возможно, переделайте это на тестовом наборе, но не исследуя его. То есть посмотрите, насколько хорошо результат, найденный на тренировочном наборе, работает на тестовом наборе.

Питер Флом - Восстановить Монику
источник
Спасибо за ответ. Это то направление, о котором я думал, хотя я не уверен, будут ли у меня случаи деления данных. Кроме того, поскольку предметы по 5-балльной шкале Лайкерта, я ожидаю, что большинство из них, или, по крайней мере, «хорошие», будут испытывать аналогичные трудности.
Behacad
1
Конечно, вы знаете хорошие ссылки :-) Я бы дразнил вас по следующим пунктам (потому что эта тема, скорее всего, послужит ссылкой для будущих вопросов). (а) Обычно удаление элементов на основе альфа-версии Кронбаха выполняется без учета схемы перекрестной проверки. Очевидно, что это предвзятый подход, поскольку для оценки обоих показателей используются одни и те же лица. (b) Другой альтернативой является определение корреляции между предметом и шкалой путем рассмотрения балла покоя (то есть балла по сумме без учета рассматриваемого предмета): считаете ли вы, что это имеет значение в этом случае? (...)
хл
1
(...) (c) Наконец, модели IRT часто используются для отбрасывания предметов (в духе очистки шкалы ) на основе статистики подбора предметов и тому подобного. Что вы думаете об этом подходе?
ЧЛ
К вашему сведению, я, вероятно, могу найти ссылки для каждого из этих методов в отдельности, но я был бы признателен за любые потенциальные ссылки на использование любого из этих методов в сочетании. Любые ссылки были бы великолепны, правда! Вы знаете (и, вероятно, есть!) Рецензенты ...
Behacad
@chl Я мог бы выкопать ссылки, но я не знаю их на макушке. На а) и б) это, вероятно, имеет большее значение, чем думает большинство людей; кто-то должен сделать симуляцию. c) Прошло много времени с тех пор, как я занимался IRT (моя степень по психометрии, но это было давно).
Питер Флом - Восстановить Монику
2

Все три предложенных вами критерия действительно могут быть выполнены в IRT, более конкретно, в многомерном IRT. Если размер вашей выборки достаточно велик, вероятно, это будет последовательный способ сделать это для каждой подшкалы. Таким образом, вы можете получить преимущества IRT для самостоятельного моделирования элемента (используя номинальные модели для некоторых элементов, обобщенный частичный кредит или оцениваемые для других, или, если возможно, даже устанавливайте шкалы оценок, чтобы помочь интерпретировать политомные элементы более экономным образом).

θ

θ

Вы можете попытаться удалить элементы, которые не соответствуют одномерным требованиям большинства программного обеспечения IRT, но я не обязательно рекомендую это, если это влияет на теоретическое представление конструкций под рукой. В эмпирических приложениях обычно лучше попытаться привести наши модели в соответствие с нашей теорией, а не наоборот. Кроме того, именно здесь, как правило, целесообразно использовать двухфакторные / двухуровневые модели, поскольку вы хотели бы включить все возможные элементы, учитывая многомерность систематическим и теоретически желательным образом.

philchalmers
источник
Благодарность! Как вы измеряете эмпирическую надежность в IRT? Это то же самое, что информация?
Behacad
θ^rxx=T/(T+E)θmirtfscores()sirtTAM
@ philchalmers, пожалуйста, посмотрите вопрос, если вы можете ответить на него.
WhiteGirl