Вопросы с тегом «agreement-statistics»

25
Межрассовая надежность для порядковых или интервальных данных

Какие методы оценки надежности наиболее подходят для порядковых или интервальных данных? Я считаю, что «Совместная вероятность соглашения» или «Каппа» предназначены для номинальных данных. Хотя можно использовать «Пирсон» и «Спирмен», они в основном используются для двух оценщиков (хотя они могут...

25
Является ли «Охота на Снарка» Джоэла Спольски достоверным статистическим анализом содержания?

Если вы в последнее время читали бюллетени сообщества, вы, вероятно, видели сообщение «Охота на Снарка» на официальном блоге StackExchange Джоэла Спольски, генерального директора сети StackExchange. Он обсуждает статистический анализ, проведенный на примере комментариев SE, чтобы оценить их...

13
Interrater надежность для событий во временном ряду с неопределенностью относительно времени события

У меня есть несколько независимых кодеров, которые пытаются идентифицировать события во временном ряду - в этом случае я смотрю видео разговора лицом к лицу и ищу конкретные невербальные поведения (например, кивает головой) и кодирует время и категорию каждого событие. Эти данные целесообразно...

13
Как я могу лучше всего справиться с эффектами маркеров с разными уровнями щедрости в оценке студенческих работ?

Около 600 студентов имеют оценку по обширной части оценки, которая, как можно предположить, имеет хорошую надежность / достоверность. Оценка оценивается из 100, и это тест с множественным выбором, отмеченный компьютером. У этих 600 студентов также есть оценка по второму, второстепенному, экзамену....

9
Вычисление меж-рейтинговой надежности в R с переменным числом оценок?

Википедия предполагает, что одним из способов оценки надежности между оценками является использование модели случайных эффектов для вычисления внутриклассовой корреляции . Пример внутриклассовой корреляции говорит о взгляде на...

9
Как я могу использовать эти данные для калибровки маркеров с разным уровнем щедрости при оценке студенческих работ?

12 учителей обучают 600 учеников. 12 преподавателей, преподаваемых этими учителями, имеют размер от 40 до 90 учеников, и мы ожидаем систематических различий между когортами, поскольку аспиранты были непропорционально распределены по отдельным когортам, а предыдущий опыт показал, что аспиранты в...