12 учителей обучают 600 учеников. 12 преподавателей, преподаваемых этими учителями, имеют размер от 40 до 90 учеников, и мы ожидаем систематических различий между когортами, поскольку аспиранты были непропорционально распределены по отдельным когортам, а предыдущий опыт показал, что аспиранты в среднем набирают значительно выше, чем студенты старших курсов.
Учителя оценили все документы в своей группе и поставили им оценку из 100.
Каждый учитель также просмотрел один случайно выбранный лист работы трех других учителей и дал ему оценку из 100. У каждого учителя было три его / ее работы, помеченные другим учителем. Таким образом, 36 различных документов были помечены таким образом, и я называю это своими данными калибровки.
Я также вижу, сколько аспирантов было в каждой когорте.
Мои вопросы:
А) Как я могу использовать эти данные калибровки, чтобы отрегулировать исходные метки, чтобы сделать их более справедливыми? В частности, я бы хотел как можно больше смыть последствия чрезмерно щедрых / не щедрых создателей.
Б) Насколько уместны мои данные калибровки? У меня не было выбора в довольно ограниченных 36 точках данных калибровки, которые я получил в этом курсе, и у меня нет никакой возможности собирать больше в течение текущего семестра. Тем не менее, если эта ситуация повторится, я смогу собрать больше данных калибровки или собрать другие типы данных калибровки.
Этот вопрос является родственником популярного вопроса, который я задавал: как мне лучше всего справиться с эффектами маркеров с различными уровнями щедрости при оценке студенческих работ? , Тем не менее, это другой курс, и я не уверен, насколько полезным будет чтение этого вопроса в качестве фона для этого текущего, поскольку главная проблема заключалась в том, что у меня не было данных калибровки.
источник
lm(score ~ gradStudent + ... + teacherID
должно это сделать.Вот пара связанных подходов.
Возьмите набор работ, помеченных более чем одним учителем, поскольку в них содержится наибольшая информация об эффектах учителя и за пределами этих работ, эффекты учителя и когорты смешаны (если был какой-то способ получить эффект когорты - возможно, через GPA или какой-то другой предиктор, например, тогда вы могли бы использовать все данные, но это немного усложнит модели).
Сначала вы должны рассмотреть свою модель на предмет применения эффекта маркера. Это добавка? Это мультипликативный? Вам нужно беспокоиться о граничных эффектах (например, будет ли аддитивный или мультипликативный эффект в логит-масштабе лучше)?
(У вас не будет достаточно данных, чтобы оценить форму щедрости, а также ее размер. Вы должны выбрать модель из своего понимания ситуации. Вам также нужно будет игнорировать любую возможность взаимодействия; вы не есть данные для этого)
Возможность 1 - простая аддитивная модель. Это может подойти, если никакие отметки не были действительно близки к 0 или 100:
Это по сути двухсторонний ANOVA. Вам нужны ограничения на это, так что вы можете настроить кодирование отклонения / настроить модель так, чтобы эффекты маркера были равны 0, или вы можете настроить модель, в которой один маркер является базовой линией (чей эффект равен 0, и чей маркер вы постараюсь настроить каждый второй маркер в сторону).
источник