Статистический тест для сравнения точности двух приборов

Я сравниваю два устройства контроля температуры, оба из которых предназначены для поддержания температуры тела на уровне точно 37 градусов у анестезированных пациентов. Аппараты были установлены на 500 пациентов, составляющих две группы. Группа A (400 пациентов) - Устройство 1, Группа B (100 пациентов) - Устройство 2. Температура каждого пациента измерялась один раз в час в течение 36 часов, что дало мне 18000 точек данных в двух группах. Мне нужно определить, какое устройство более точно контролирует температуру тела пациента в течение 36 часов. Я построил линейные графики, соединяющие средние значения в каждой временной точке с квартильными столбиками, и визуально кажется, что есть разница. Как я должен анализировать свои данные, чтобы доказать статистическую разницу?

Первое, о чем вам нужно подумать, это то, что означает (количественно) иметь «хорошую точность» в таком устройстве. Я бы предположил, что в медицинском контексте цель состоит в том, чтобы избежать отклонений температуры, которые попадают в опасный диапазон для пациента, поэтому «хорошая точность», вероятно, приведет к избежанию опасно низких или высоких температур. Это означает, что вы будете искать метрику, которая сильно штрафует большие отклонения от вашей оптимальной температуры 37 C. Ввиду этого, измерение, основанное на колебаниях средних температур, будет плохой мерой точность, тогда как меры, которые выделяют большие отклонения, будут лучше.$^\text{o}$

Когда вы формулируете этот тип метрики, вы неявно принимаете «штрафную функцию», которая штрафует температуры, которые отклоняются от желаемой температуры. Одним из вариантов будет измерение «точности» по меньшей дисперсии вокруг желаемой температуры (рассматривая это как фиксированное среднее значение для расчета дисперсии). Дисперсия штрафуется квадратной ошибкой, что дает разумное наказание за большие отклонения. Другим вариантом будет наказание более строго (например, ошибка в кубе). Другой вариант заключается в том, чтобы просто измерить количество времени, в течение которого у каждого устройства пациент находится за пределами температурного диапазона, который является медицински безопасным. В любом случае все, что вы выберете, должно отражать опасность отклонения от желаемой температуры.

После того, как вы определили, что составляет метрику «хорошей точности», вы собираетесь сформулировать своего рода «тест гетероскедастичности», сформулированный в более широком смысле, позволяющий использовать любую меру точности, которую вы используете. Я не уверен, что согласен с тем, что Уабер прокомментировал для автокорреляции. Это действительно зависит от вашей формулировки потери - в конце концов, пребывание в высокотемпературном диапазоне в течение длительного периода времени может быть самой опасной вещью, поэтому, если вы вернетесь к учету автокорреляции, вы можете закончить до неспособности оштрафовать очень опасные результаты в достаточной степени.

Это проверка гомоскедастичности. А поскольку это временные ряды, подходящим выбором является критерий Брейша-Пэгана , а не F-критерий. Этот тест отвечает только на вопрос равенства точности между двумя устройствами. Уровень точности является еще одним способом мышления дисперсии.

[Правка: изменил тест на правильный, учитывая зависимость от времени]

Если вас интересует, насколько хорошо устройства поддерживают температуру 37C, вы можете:

1. Используйте все доступные данные от каждого человека как есть или
2. Оцените среднее отклонение на человека от 37С, используя 36 испытаний каждого человека.

Данные, естественно, поддаются повторным мерам лечения. Рассматривая внутригрупповые испытания как кластеры, вы уменьшите вероятность ошибочно оцененного доверительного интервала вокруг воздействия устройства. Кроме того, вы можете проверить влияние времени между обоими устройствами или как взаимодействие с устройством, чтобы убедиться, что поддержание температуры во времени было хорошим. Поиск способа визуализировать все это имеет ключевое значение и может предложить один подход по сравнению с другим. Что-то вроде:

library(dplyr)
library(lme4)

set.seed(42)
id <- rep(1:500, each=36)
time <- rep(1:36,500)
temp <- c(rnorm(36*400, 38,0.5), rnorm(36*100,37.25,0.5))
temp <- temp + 1/time

prox_37 <- temp - 37
group <- c(rep("A",36*400), rep("B",36*100))
graph_t <- ifelse(group=="A", time-0.25, time+0.25)
df <- data.frame(id,time,temp,prox_37,group, graph_t)

id_means <- group_by(df, id) %>% summarize(mean_37 = mean(prox_37))
id_means$group <- c(rep("A",400), rep("B",100))

boxplot(id_means$mean_37 ~ id_means$group)

plot(graph_t, prox_37, col=as.factor(group))
loess_fit <- loess(prox_37 ~ time, data = df)
lines(c(1:36), predict(loess_fit, newdata= c(1:36)) , col = "blue")

summary(t.test(mean_37 ~group, data=id_means))

model1 <- glm(prox_37 ~ as.factor(group), family = "gaussian", data=df)
model2 <- lmer(prox_37 ~ as.factor(group) + (1 | id), data=df)
model3 <- lmer(prox_37 ~ as.factor(group) + time + (1 | id), data=df)
model4 <- lmer(prox_37 ~ as.factor(group) + time + time*as.factor(group) + (1 | id), data=df)

AIC(model1)
summary(model2)
summary(model3)
summary(model4)