Вычисление меж-рейтинговой надежности в R с переменным числом оценок?

9

Википедия предполагает, что одним из способов оценки надежности между оценками является использование модели случайных эффектов для вычисления внутриклассовой корреляции . Пример внутриклассовой корреляции говорит о взгляде на

σα2σα2+σϵ2

от модели

Yij=μ+αi+ϵij

«где Y ij - j- е наблюдение в i- й группе, μ - ненаблюдаемое общее среднее значение, α i - ненаблюдаемый случайный эффект, общий для всех значений в группе i, а ε ij - ненаблюдаемый шумовой термин».

Это привлекательная модель, особенно потому, что, по моим данным, ни один оценщик не оценивал все вещи (хотя большинство оценивали более 20), а вещи оценивали разное число раз (обычно 3-4).

Вопрос № 0: является ли «группа i» в этом примере («группа i») группой оцениваемых вещей?

Вопрос № 1: Если я ищу надежность между оценщиками, не нужна ли мне модель случайных эффектов с двумя терминами, один для оценщика и один для оцениваемой вещи? В конце концов, у обоих есть возможное изменение.

Вопрос № 2: Как бы я лучше выразить эту модель в R?

Похоже, у этого вопроса есть симпатичное предложение:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Я посмотрел на пару вопросов , и синтаксис параметра «random» для lme для меня непрозрачен. Я прочитал страницу помощи для lme , но описание «random» для меня непонятно без примеров.

Этот вопрос несколько похож на длинный список из вопросов , с этим самым близким. Тем не менее, большинство не обращаются к R подробно.

dfrankow
источник
Модели со смешанными и случайными эффектами закодированы одинаково в R. Смотрите ncbi.nlm.nih.gov/pmc/articles/PMC3402032 для получения дополнительной информации!
noé

Ответы:

6

Модель, на которую вы ссылаетесь в своем вопросе, называется «односторонней моделью». Предполагается, что эффекты случайных строк являются единственным систематическим источником дисперсии. В случае надежности между рядами строки соответствуют объектам измерения (например, объектам).

Односторонняя модель : где - среднее значение для всех объектов, - эффект строки, а - остаточный эффект.

xij=μ+ri+wij
μriwij

Однако есть и «двусторонние модели». Они предполагают, что есть разница, связанная со случайными эффектами строк, а также со случайными или фиксированными эффектами столбцов. В случае надежности между столбцами столбцы соответствуют источникам измерения (например, оценщикам).

Двусторонние модели : где - среднее значение для всех объекты, - эффект строки, - эффект столбца, - эффект взаимодействия, а - остаточный эффект. Разница между этими двумя моделями заключается во включении или исключении эффекта взаимодействия.

xij=μ+ri+cj+rcij+eij
xij=μ+ri+cj+eij
μricjrcijeij

Используя двустороннюю модель, вы можете рассчитать один из четырех коэффициентов ICC: ICC (C, 1) согласованности одного балла, ICC (C, k) согласования среднего балла, ICC (A, 1) с одним баллом или средний балл по соглашению ICC (A, k). ICC с единым счетом применяются к единичным измерениям (например, отдельным оценщикам), тогда как ICC со средним счетом применяются к средним измерениям (например, среднее значение для всех оценщиков). ICC согласованности исключают дисперсию столбца из дисперсии знаменателя (например, разрешая оценщикам варьироваться в зависимости от их собственных средств), тогда как ICC соглашения включают дисперсию столбца в дисперсии знаменателя (например, требуя, чтобы оценщики варьировались вокруг одного и того же среднего значения).xijx¯i

Вот определения, если вы предполагаете эффект случайного столбца:

Двусторонние определения ICC со случайными эффектами (с или без эффекта взаимодействия) :

ICC(C,1)=σr2σr2+(σrc2+σe2) or σr2σr2+σe2
ICC(C,k)=σr2σr2+(σrc2+σe2)/k or σr2σr2+σe2/k
ICC(A,1)=σr2σr2+(σc2+σrc2+σe2) or σr2σr2+(σc2+σe2)
ICC(A,k)=σr2σr2+(σc2+σrc2+σe2)/k or σr2σr2+(σc2+σe2)/k

Вы также можете оценить эти значения, используя средние квадраты из ANOVA:

Двусторонние оценки ICC :

ICC(C,1)=MSRMSEMSR+(k1)MSE
ICC(C,k)=MSRMSEMSR
ICC(A,k)=MSR-MSE
ICC(A,1)=MSRMSEMSR+(k1)MSE+k/n(MSCMSE)
ICC(A,k)=MSRMSEMSR+(MSCMSE)/n

Вы можете вычислить эти коэффициенты в R, используя пакет irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Ссылки

McGraw, KO & Wong, SP (1996). Формирование выводов о некоторых внутриклассовых коэффициентах корреляции. Психологические методы, 1 (1), 30–46.

Shrout, PE & Fleiss, JL (1979). Внутриклассные корреляции: использование при оценке достоверности оценок. Психологический вестник, 86 (2), 420–428.

Джеффри Джирард
источник
Спасибо за отличный ответ! В двухсторонней модели внутри icc в R, как мы представляем случайный выбор оценщиков на строку? Я имею в виду, представьте, что у нас есть пул из 100 оценщиков, и каждый предмет оценивается примерно в 5-10 из них. Может ли такой сценарий быть обработан пакетом icc?
Михал
Каждый оценщик должен иметь свой собственный столбец в матрице, которую вы передаете функции icc. В остальном, вычисления одинаковы для моделей со случайными и смешанными эффектами - основное различие заключается в интерпретации (насколько обобщенными могут быть рассмотрены результаты).
Джеффри Джирард
Спасибо за ответ! Я пытаюсь сделать это, имея в основном NA в ячейках (и только несколько значений с фактическими числами на столбец, где конкретный оценщик оценил предмет, соответствующий строке). Тем не менее, в выводе я получаю текст о том, что ни один предмет не был записан (например, Предметы = 0 Оценщиков = 9). Возможно, это означает, что там, где хотя бы один NA был найден, весь ряд отфильтровывается? Но тогда как я могу обозначить недостающие оценки от оценщика?
Михал
Хм, это может быть ограничением этой конкретной функции ICC. У меня есть скрипт MATLAB, который может справиться с этой ситуацией. У вас есть доступ к MATLAB?
Джеффри Джирард
1
Да, проверьте мой веб-сайт: mreliability.jmgirard.com
Джеффри Джирард