Обнаружение схем мошенничества на экзамене с несколькими вопросами

25

ВОПРОС:

У меня есть двоичные данные по экзаменационным вопросам (правильно / неправильно). Некоторые люди могли иметь предварительный доступ к подмножеству вопросов и их правильных ответов. Я не знаю кто, сколько или какой. Если бы обмана не было, предположим, что я бы смоделировал вероятность правильного ответа для элемента как , где представляет сложность вопроса, а - скрытую способность индивидуума. Это очень простая модель ответа элемента, которую можно оценить с помощью таких функций, как ltm rasch () в R. В дополнение к оценкам (где индексирует отдельных лиц) скрытой переменной, у меня есть доступ к отдельным оценкамл о г я т ( ( р я = 1 | г ) ) = & beta ; я + г β я г г J J Q JяLогяT((пязнак равно1|Z))знак равноβя+ZβяZZ^JJQ^J той же скрытой переменной, которая была получена из другого набора данных, в котором обман был невозможен.

Цель состоит в том, чтобы идентифицировать людей, которые, вероятно, обманули и предметы, которые они обманули. Какие подходы вы можете использовать? В дополнение к необработанным данным доступны , и \ hat {q} _j , хотя первые два будут иметь некоторую погрешность из-за мошенничества. В идеале решение должно быть в форме вероятностной кластеризации / классификации, хотя в этом нет необходимости. Практические идеи приветствуются, как и формальные подходы. г J д Jβ^яZ^JQ^J

До сих пор я сравнивал соотношение вопросов и ответов для пар лиц с более высокими или низкими показателями Q^J-Z^J (где Q^J-Z^J - это грубый показатель вероятности того, что их обманули). Например, я отсортировал людей по Q^J-Z^J а затем построил график корреляции последовательных пар вопросов участников. Я также попытался построить среднюю корреляцию оценок для людей, чьи значения Q^J-Z^J были больше, чем NTчас квантиль для Q^J-Z^J в зависимости от N . Нет очевидных моделей для любого подхода.


ОБНОВИТЬ:

Я закончил тем, что соединил идеи из @SheldonCooper и полезной статьи Freakonomics, на которую @whuber указал мне. Другие идеи / комментарии / критика приветствуются.

Пусть ИксяJ будет двоичным счетом лица J по вопросу я . Оцените logit модели ответа на предмет (Pr (X_ {ij} = 1 | z_j) = \ beta_i + z_j,

LогяT(пр(ИксяJзнак равно1|ZJ)знак равноβя+ZJ,
где \ beta_i - βяпараметр легкости элемента, а ZJ - скрытая переменная способности. (Можно заменить более сложную модель; I я использую 2PL в своем приложении.) Как я уже упоминал в своем первоначальном посте, у меня есть оценки QJ^ переменной способности из отдельного набора данных {YяJ} (разные предметы, одни и те же лица) на этот обман был невозможен. В частности, QJ^ являются эмпирическими байесовскими оценками из той же модели отклика элемента, что и выше.

Вероятность наблюдаемой оценки , обусловленной легкостью предмета и способностями человека, можно записать в виде где - прогнозируемая вероятность правильный ответ, и - обратный логит. Тогда, в зависимости от характеристик предмета и человека, общая вероятность того, что человек имеет наблюдения равна и, аналогично, общая вероятность того, что элемент имеет наблюдения p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) x i j ( 1 - P i j ( ^ β i , ^ q j ) ) 1 - xИксяJPij( ^ β i , ^

пяJзнак равнопр(ИксяJзнак равноИксяJ|βя^,QJ^)знак равнопяJ(βя^,QJ^)ИксяJ(1-пяJ(βя^,QJ^))1-ИксяJ,
пяJ(βя^,QJ^)знак равнояLогяT(βя^+QJ^)яLогяTJИксJ
пJзнак равноΠяпяJ,
яИкся - этоЛица с наименьшими значениями - это те, чьи наблюдаемые оценки условно наименее вероятны - возможно, они мошенники. Элементы с наименьшими значениями условно наименее вероятны - это возможные элементы утечки / общего доступа. Этот подход основывается на предположениях о том, что модели являются правильными, а оценки человека некоррелированны в зависимости от характеристик человека и предмета. Нарушение второго предположения не является проблематичным, поскольку степень корреляции не различается у разных людей, и модель для может быть легко улучшена (например, путем добавления дополнительных характеристик человека или предмета).
пязнак равноΠJпяJ,
p j j p i jпJпJJпяJ

Дополнительный шаг, который я попробовал, состоит в том, чтобы взять r% наименее вероятных людей (то есть людей с наименьшим r% от отсортированных значений p_j), вычислить среднее расстояние между их наблюдаемыми показателями x_j (которое должно быть коррелировано для лиц с низким r, которые возможные мошенники), и нанесите его на график для r = 0,001, 0,002, ..., 1000. Среднее расстояние увеличивается при r = 0,001 до r = 0,025, достигает максимума, а затем медленно уменьшается до минимума при r = 1. Не совсем то, на что я надеялся.

lockedoff
источник
4
Это сложная проблема, потому что у вас очень мало информации о характере обмана. Как вы отличаете мошенника от ученика, который усердно учился? Без дополнительной информации вы не сможете. Одна из возможностей заключается в том, что ученики могут обманывать, копируя друг друга, или если подгруппы учеников имели доступ к одним и тем же ответам. Если это так, вы можете создать функцию расстояния между учащимися (более низкое расстояние означает, что они хорошо справились с одними и теми же вопросами) и искать шаблоны здесь. Это было бы более убедительным ИМО.
rm999
2
Левитт и Дубнер описывают свой подход во Freakonomics ( freakonomicsmedia.com ).
whuber
@ rm999 Чтобы уточнить, мошенники имели доступ к одному и тому же подбору вопросов (например, ключ к частичному ответу был просочен до администрации экзамена). Я не заинтересован в мошенничестве, которое могло случиться при копировании. Я пересмотрю свой вопрос на выходных, если это неясно.
закрыто
@whuber Спасибо, я посмотрю статью (если она опубликована). Я слушал аудиокнигу, но не могу вспомнить подробности того, как они идентифицировали мошенников (я думаю, это были учителя, которые обманывали ответы учеников).
закрыто
Если я вспоминаю случай с Freakonomics, он включал в себя выявление детей в той же школе / классе, у которых были (а) большие скачки в успеваемости по сравнению с годом ранее, (б) разные ответы на более ранние более простые вопросы, и (в) идентичные последовательности ответы на более сложные вопросы позже, так что намекает на то, что учитель заполняет ответы, которые дети оставили пустыми.
Генри

Ответы:

4

Специальный подход

Я бы предположил, что достаточно надежен, потому что его оценили многие студенты, большинство из которых не изменяли вопросу . Для каждого ученика вопросы в порядке возрастания сложности, вычислите (обратите внимание, что i j β i + q j q jβяяJβя+QJQJэто просто постоянное смещение) и порог его в некотором разумном месте (например, р (правильно) <0,6). Это дает набор вопросов, на которые ученик вряд ли ответит правильно. Теперь вы можете использовать проверку гипотез, чтобы увидеть, нарушено ли это, и в этом случае студент, вероятно, обманул (если, конечно, ваша модель верна). Одно предостережение: если таких вопросов мало, у вас может не хватить данных, чтобы тест был надежным. Кроме того, я не думаю, что возможно определить, какой вопрос он обманул, потому что у него всегда есть 50% -ый шанс угадать. Но если вы дополнительно предположите, что многие учащиеся получили доступ (и обманули) к одному и тому же набору вопросов, вы можете сравнить их между учащимися и увидеть, на какие вопросы отвечали чаще, чем случайно.

Вы можете сделать аналогичный трюк с вопросами. Т.е. для каждого вопроса отсортируйте студентов по , добавьте (теперь это постоянное смещение) и порог с вероятностью 0,6. Это дает вам список студентов, которые не смогут правильно ответить на этот вопрос. Так что у них есть 60% шанс угадать. Опять же, сделайте проверку гипотез и посмотрите, не нарушено ли это. Это работает только в том случае, если большинство студентов обманули один и тот же набор вопросов (например, если часть вопросов «просочилась» до экзамена).β iQJβя

Принципиальный подход

Для каждого учащегося существует двоичная переменная с предшествующим Бернулли с некоторой подходящей вероятностью, указывающая, является ли ученик мошенником. Для каждого вопроса есть двоичная переменная , опять же с некоторым подходящим предварительным значением Бернулли, указывающим, был ли вопрос утечкой. Затем есть набор двоичных переменных , указывающих, правильно ли ученик ответил на вопрос . Если и , то распределением является Бернулли с вероятностью 0,99. В противном случае дистрибутив является . Эти являются наблюдаемыми переменными.l i a i j j i c j = 1 l i = 1 a i j l o g i t ( β i + q j ) a i j c j l iсJLяaяJJясJзнак равно1Lязнак равно1aяJLогяT(βя+QJ)aяJсJ и скрыты и должны быть выведены. Вы, вероятно, можете сделать это путем выборки Гиббса. Но возможны и другие подходы, возможно, что-то, связанное с бикластеризацией.Lя

Шелдон Купер
источник
Я прочитал первую часть вашего ответа и думаю, что он многообещающий. Две быстрые заметки - это был множественный выбор, поэтому вероятности правильного угадывания составляют 25% или 20%. Вы правы в том, что мы можем предположить, что часть вопросов была просочена до экзамена. Вернемся к этому в воскресенье или понедельник.
закрыто
3

Если вы хотите использовать более сложные подходы, вы можете взглянуть на модели теории отклика элемента. Затем вы можете смоделировать сложность каждого вопроса. Я думаю, что учащиеся, которые исправляли трудные предметы, но упускали более простые, с большей вероятностью будут обманывать, чем те, кто поступил наоборот.

Прошло уже более десяти лет с тех пор, как я делал подобные вещи, но я думаю, что это может быть многообещающим. Для более подробной информации, проверить психометрические книги

Питер Флом - Восстановить Монику
источник
Обычно мошенничество или догадки могут быть включены непосредственно в IRM. Это, по сути, то, что намеревается сделать модель 3-PL, так как она включает в себя параметр сложности , распознавания и угадывания, который действует как более низкая асимптота для вероятности подтверждения элемента. Тем не менее, было доказано, что это нереально в большинстве ситуаций, и наряду с этим были разработаны и другие специальные статистические данные, подходящие для человека (либо в образовательном тестировании, либо в психологической оценке). Мейер, Человек-Fit исследования: введение. У APM (1996), 9: 3-8 есть хороший обзор паттернов аберрантных реакций.
ЧЛ
@chl Спасибо! Я изучал это в аспирантуре, но это было давно - мой последний урок был в 1996 году или около того.
Питер Флом - Восстановить Монику
@chl Спасибо за ваши предложения. Модель в моем вопросе на самом деле является моделью ответа на вопрос (модель Rasch или 1PL с фиксированным параметром дискриминации). Я думаю, что предложение взглянуть на людей с аберрантными показателями - хорошее начало, но я ищу подход, который использует в своих интересах дополнительную информацию, предоставленную корреляцией в ответах мошенников на предметы, на которых был обман. Вы можете себе представить, что если бы мы использовали вашу процедуру, например, для выявления мошенников, они хорошо справились бы с аналогичными сложными задачами.
закрыто