По данным SAGE Encyclopedia of Social Science Методы исследования …
[a] потолочный эффект возникает, когда мера имеет четкий верхний предел для потенциальных ответов и большая концентрация участников получает балл в пределах или около этого предела. Масштабное затухание является методологической проблемой, которая возникает всякий раз, когда дисперсия ограничивается таким образом. … Например, потолочный эффект может возникнуть при оценке отношения, при котором высокий балл указывает на благоприятное отношение, а самый высокий отклик не в состоянии уловить максимально возможную положительную оценку. … Лучшим решением проблемы потолочных эффектов является пилотное тестирование, которое позволяет выявить проблему на ранней стадии . Если эффект потолка найден , [и] мера результата выполнение задачи, задача может быть более сложной , чтобы увеличить диапазон потенциальных ответов. 1 [выделение добавлено]
Там , кажется, много из советов и вопросов ( и здесь ) , посвященный анализ данных , которые показывают потолочные эффекты , подобные тем , что описано в цитате выше.
Мой вопрос может быть простым или наивным, но как на самом деле обнаружить, что потолочный эффект присутствует в данных? В частности, скажем, что психометрический тест создан и предположительно может привести к потолочному эффекту (только визуальный осмотр), а затем тест пересматривается для получения большего диапазона значений. Как можно показать, что пересмотренный тест удалил эффект потолка из данных, которые он генерирует? Существует ли тест, который показывает, что в наборе данных a существует эффект потолка, но в наборе данных b нет эффекта потолка ?
Мой наивный подход заключается в том, чтобы просто изучить перекос распределения и, если он не искажен, сделать вывод, что потолочного эффекта нет. Это слишком упрощенно?
редактировать
Чтобы добавить более конкретный пример, скажем, я разрабатываю инструмент, который измеряет некоторую скрытую черту х, которая увеличивается с возрастом, но в конечном итоге выравнивается и начинает снижаться в старости. Я делаю первую версию с диапазоном от 1 до 14, выполняю некоторые экспериментальные работы и нахожу, что, возможно, эффект потолка может быть (большое количество ответов на уровне или около 14, максимум). глядя на данные. Но почему? Существует ли какой-либо строгий способ поддержать это утверждение?
Затем я пересматриваю меру, чтобы иметь диапазон от 1 до 20, и собираю больше данных. Я вижу, что эта тенденция более точно соответствует моим ожиданиям, но откуда мне знать, что диапазон измерений достаточно велик. Я должен пересмотреть это снова? Визуально это вроде бы нормально, но есть ли способ проверить это, чтобы подтвердить мои подозрения?
Я хочу знать, как я могу обнаружить этот потолочный эффект в данных, а не просто смотреть на них. Графики представляют фактические данные, а не теоретические. Расширение диапазона инструмента создало лучший разброс данных, но достаточно ли этого? Как я могу это проверить?
1 Hessling, R., Traxel, N. & Schmidt, T. (2004). Потолочный эффект. В книге Майкла С. Льюиса-Бека, А. Браймана и Тима Фьютинга Ляо (ред.), Энциклопедия социальных методов исследования SAGE . (стр. 107). Таузенд-Оукс, Калифорния: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102
Ответы:
Прежде всего, я хотел бы сказать, что оба графика дают мне четкое доказательство того, что присутствует потолочный эффект. То, как я попытался бы измерить этот эффект, а не только визуально, было бы наблюдать, пока нетривиальная часть наблюдений находится вблизи верхней границы диапазона прибора. Как правило, потолочный эффект всегда будет существовать, пока есть нетривиальная часть тестируемых, которые достигают максимальной оценки по тесту.
Тем не менее, технология тестового анализа продвинулась далеко вперед, так как нам нужно было напрямую интерпретировать оценки на инструменте, основываясь на правильной оценке. Теперь мы можем использовать Теорию ответа на предмет, чтобы оценить параметры предмета для отдельных предметов и использовать эти предметы для определения предметной способности. Конечно, на тесте могут быть еще и потолочные эффекты, если мы сделаем тест слишком простым. Тем не менее, благодаря способности теории реагирования на предметы, мы должны иметь возможность поместить в инструмент, по крайней мере, несколько предметов достаточно высокой сложности, чтобы предотвратить попадание в потолок только незначительной части населения.
Спасибо за вопрос. Это очень интересно!
источник
Я предполагаю, что грубым и готовым способом было бы просто измерить дисперсию по мере увеличения масштаба. Если это показывает снижение, то это свидетельствует о потолочном эффекте, а если нет, то потолочного эффекта нет. Вы можете сделать однородный график отклонений. Тест Левена может быть полезен для определения того, отличается ли разница в разных точках шкалы.
источник
Критическая проблема при решении вопроса о том, является ли кластеризация вокруг самой высокой или самой низкой точки следствием эффекта потолка / минимума, заключается в том, действительно ли значения наблюдений «представляют» значение. Когда эффекты потолка / пола действительно имеют место, некоторые из случаев, несмотря на допущение максимального или минимального значения, на самом деле выше / ниже максимального или минимального значения (представьте, что взрослый и ребенок оба проходят чрезвычайно простой математический тест, предназначенный для измерения свои математические способности, и оба набрали 100%). Здесь данные подвергаются цензуре.
Другой сценарий также возможен, когда мы используем ограниченные шкалы, такие как шкала, подобная Лайкерту, которая имеет верхний и нижний пределы. Вполне возможно, что те, кто набрал наивысший балл, действительно заслуживают этого балла, и между всеми, кто набрал наивысший балл, не существует никаких различий (например, математический пример выше). В таком случае данные усекаются до пределов, а не подвергаются цензуре.
Исходя из вышеизложенного, я считаю, что следует разработать процедуру, которая бы соответствовала любому данному набору данных с усечением данных и цензурой данных. Если модель цензуры лучше всего соответствует данным, я думаю, что можно сделать вывод, что эффект потолка / пола присутствует.
источник