Оценка надежности вопросника: размерность, проблемные элементы, а также следует ли использовать альфа, лямбда6 или какой-то другой индекс?

Я анализирую оценки участников эксперимента. Я хочу оценить надежность моей анкеты, которая состоит из 6 пунктов, направленных на оценку отношения участников к продукту.

Я вычислил альфу Кронбаха, рассматривая все элементы как одну шкалу (альфа был около 0,6) и удаляя один элемент за раз (максимальная альфа была около 0,72). Я знаю, что альфа может быть недооценена и переоценена в зависимости от количества элементов и размерности базовой конструкции. Таким образом, я также провел PCA. Этот анализ показал, что было три основных компонента, объясняющих около 80% дисперсии. Итак, мои вопросы все о том, как я могу действовать сейчас?

• Нужно ли выполнять альфа-вычисления для каждого из этих измерений?
• Нужно ли удалять предметы, влияющие на надежность?

Кроме того, при поиске в Интернете я обнаружил еще одну меру надежности: лямбда6 от guttman.

• Каковы основные различия между этой мерой и альфа?
• Что такое хорошее значение лямбда?

Я думаю, что @Jeromy уже сказал самое важное, поэтому я сосредоточусь на мерах надежности.

Альфа Кронбаха является выборочно-зависимым индексом, используемым для определения нижней границы надежности инструмента. Это не более чем показатель дисперсии, общий для всех элементов, которые учитываются при расчете шкалы. Следовательно, его не следует путать с абсолютной мерой надежности и не применять к многомерному инструменту в целом. По сути, сделаны следующие допущения: (а) нет остаточных корреляций, (б) предметы имеют одинаковую нагрузку, и (в) шкала является одномерной. Это означает, что единственный случай, когда альфа будет по существу таким же, как надежностьслучай равномерно высоких коэффициентов нагрузки, отсутствие ковариаций ошибок и одномерный инструмент (1). Поскольку его точность зависит от стандартной ошибки взаимных корреляций элементов, она зависит от распространения корреляций элементов, что означает, что альфа будет отражать этот диапазон корреляций независимо от источника или источников этого конкретного диапазона (например, ошибка измерения или многомерность). Этот момент широко обсуждается в (2). Стоит отметить, что когда альфа равна 0,70, что является широко используемым порогом надежности для группового сравнения (3,4), стандартная ошибка измерения будет более половины (0,55) стандартного отклонения. Кроме того, альфа Кронбаха является мерой внутренней согласованности, это не мера одномерности и не может быть использовано для вывода одномерности (5). Наконец, мы можем процитировать самого Л.Дж. Кронбаха,

Коэффициенты представляют собой грубое устройство, которое не выводит на поверхность много тонкостей, связанных с компонентами дисперсии. В частности, интерпретации, сделанные в текущих оценках, лучше всего оцениваются с использованием стандартной ошибки измерения. --- Кронбах и Шавелсон, (6)

Есть много других подводных камней, которые в основном обсуждались в нескольких статьях за последние 10 лет (например, 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Ссылки

1. Райков Т. (1997). Надежность шкалы, коэффициент альфа Кронбаха и нарушения существенной тау-эквивалентности для фиксированных родственных компонентов. Многомерное поведенческое исследование , 32, 329-354.
2. Кортина, JM (1993). Что такое коэффициент альфа? Экспертиза теории и приложений . Журнал прикладной психологии , 78 (1), 98-104.
3. Nunnally, JC и Bernstein, IH (1994). Психометрическая теория . Серия МакГроу-Хилла по психологии, третье издание.
4. De Vaus, D. (2002). Анализ данных социальных наук . Лондон: Sage Publications.
5. Дэйнс, JE и Манн, хорошо. (1984). Одномерное измерение и модели структурных уравнений со скрытыми переменными. Журнал Бизнес исследований , 12, 337-352.
6. Кронбах Л.Дж. и Шавелсон Р.Дж. (2004). Мои нынешние мысли о коэффициенте альфа и успешности процедур . Образовательные и психологические измерения , 64 (3), 391-418.
7. Schmitt, N. (1996). Использование и злоупотребления коэффициентом альфа . Психологическая оценка , 8 (4), 350-353.
8. Якобуччи Д. и Духачек А. (2003). Продвижение Альфа: измерение надежности с уверенностью . Журнал потребительской психологии , 13 (4), 478-487.
9. Шевлин, М., Майлз, JNV, Дэвис, MNO и Уокер, С. (2000). Коэффициент альфа: полезный показатель надежности? Индивидуальность и индивидуальные различия , 28, 229-237.
10. Фонг, DYT, Хо, SY и Лам, TH (2010). Оценка внутренней надежности при наличии противоречивых ответов . Результаты в отношении здоровья и качества жизни , 8, 27.
11. Гутман Л. (1945). Основа для анализа надежности тест-ретест. Психометрика , 10 (4), 255-282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. and Zinbarg, RE (2009) Коэффициенты альфа, бета, омега и GLB: комментарии к Sijtsma . Психометрика , 74 (1), 145-154

Вот некоторые общие комментарии:

• PCA : анализ PCA не «показывает, что существует три основных компонента». Вы решили извлечь три измерения или полагались на эмпирическое правило по умолчанию (обычно собственные значения больше 1), чтобы решить, сколько измерений извлечь. Кроме того, собственные значения над одним часто извлекают больше измерений, чем полезно.
• Оценка размерности элемента: я согласен, что вы можете использовать PCA для оценки размерности элементов. Тем не менее, я считаю, что просмотр графика осыпей может дать лучшее руководство по количеству измерений. Возможно, вы захотите проверить эту страницу Уильяма Ревелла по оценке размерности шкалы .
• Как продолжить?
  • Если шкала точно установлена , вы можете оставить ее как есть (при условии, что ее свойства, по крайней мере, разумны; хотя в вашем случае 0,6 является относительно плохим по большинству стандартов).
  • Если шкала не установлена ​​должным образом , вам следует теоретически рассмотреть, какие элементы предназначены для измерения и для какой цели вы хотите использовать полученную шкалу. Учитывая, что у вас всего шесть предметов, у вас мало места для создания нескольких шкал, не опускаясь до тревожного количества предметов на шкалу. Одновременно разумно проверить, есть ли какие-либо проблемные элементы, основанные на полу, потолке или проблемах с низкой надежностью. Кроме того, вы можете проверить, нужно ли поменять местами какие-либо элементы.
  • Я собрал несколько ссылок на общие ресурсы по развитию масштаба, которые могут оказаться полезными для вас.

Следующие ответы на ваши конкретные вопросы:

• Нужно ли выполнять альфа-вычисления для каждого из этих измерений?
  • Как вы можете понять из приведенного выше обсуждения, я не думаю, что вы должны относиться к своим данным так, как если бы у вас было три измерения. Существует целый ряд аргументов, которые вы можете привести в зависимости от ваших целей и деталей, поэтому сложно сказать, что именно делать. В большинстве случаев я хотел бы создать хотя бы одну хорошую шкалу (возможно, удалив элемент), а не три ненадежных шкалы.
• Нужно ли удалять предметы, влияющие на надежность?
  • Тебе решать. Если шкала установлена, то вы можете не делать этого. Если размер вашей выборки небольшой, это может быть аномалия случайной выборки. Однако в целом я был бы склонен удалить элемент, если он действительно понижал вашу альфу с 0,72 до 0,60. Я также проверил бы, не является ли этот проблемный пункт фактически не полностью измененным.

Я оставлю обсуждение лямбды 6 ( обсуждается Уильямом Ревеллом здесь ) другим.