Сравнение моделей со смешанными и фиксированными эффектами (тестирование значимости случайных эффектов)

Учитывая три переменные, yи x, которые являются положительными непрерывными, и z, что является категориальным, у меня есть две модели кандидатов, заданные:

fit.me <- lmer( y ~ 1 + x + ( 1 + x | factor(z) ) )

а также

fit.fe <- lm( y ~ 1 + x )

Я надеюсь сравнить эти модели, чтобы определить, какая модель больше подходит. Мне кажется, что в каком-то смысле они fit.feвложены внутрь fit.me. Как правило, когда этот общий сценарий выполняется, тест хи-квадрат может быть выполнен. В Rэтом тесте мы можем выполнить следующую команду:

anova(fit.fe,fit.me)

Когда обе модели содержат случайные эффекты (генерируемые lmerиз lme4пакета), anova()команда работает нормально. Из-за граничных параметров обычно рекомендуется проверять результирующую статистику хи-квадрат посредством моделирования, тем не менее, мы все равно можем использовать статистику в процедуре моделирования.

Когда обе модели содержат только фиксированные эффекты, этот подход - и соответствующая anova()команда - работают нормально.

Однако, когда одна модель содержит случайные эффекты, а уменьшенная модель содержит только фиксированные эффекты, как в приведенном выше сценарии, anova()команда не работает.

Более конкретно, я получаю следующую ошибку:

 > anova(fit.fe, fit.me)
 Error: $ operator not defined for this S4 class

Что-то не так с использованием подхода хи-квадрат сверху (с симуляцией)? Или это просто проблема anova()незнания того, как обращаться с линейными моделями, порожденными различными функциями?

Другими словами, было бы целесообразно вручную генерировать статистику хи-квадрат, полученную из моделей? Если да, каковы соответствующие степени свободы для сравнения этих моделей? По моим расчетам:

F знак равно \frac{((S S Е_{р е d U с е d} - S S Е_{е U L L}) / (п - К))}{((S S Е_{е U L L}) / (N - п - 1))} ~ F_{п - К, N - п - 1}

$F = \frac{\left((SSE_{reduced}-SSE_{full})/(p-k)\right)}{\left((SSE_{full})/(n-p-1)\right)} \sim F_{p-k,n-p-1}$

Мы оцениваем два параметра в модели с фиксированными эффектами (наклон и перехват) и еще два параметра (параметры дисперсии для случайного наклона и случайный перехват) в модели смешанных эффектов. Как правило, параметр пересечения не учитывается при вычислении степеней свободы, поэтому подразумевается, что и ; сказав, что я не уверен, следует ли включать параметры дисперсии для параметров случайных эффектов в вычисление степеней свободы; оценки дисперсии для параметров с фиксированным эффектом не рассматриваются , но я полагаю, что это связано с тем, что оценки параметров для фиксированных эффектов предполагаются как неизвестные константы, тогда как они считаются непознаваемыми случайными величинами $k=1$ $p=k+2=3$ для смешанных эффектов. Буду признателен за помощь в этом вопросе.

Наконец, есть ли у кого-нибудь более подходящее ( Rоснованное) решение для сравнения этих моделей?

r hypothesis-testing mixed-model lme4-nlme user9171
источник

Если вы замените lm()с gls()из nlmeпакета, и lmer()с lme()(снова из nlmeпакета), все будет работать нормально. Но обратите внимание, что вы получите консервативный тест (слишком большие p-значения ), так как параметры для более простой модели находятся на границе пространства параметров. И действительно, выбор того, включать ли случайные эффекты, должен основываться на теории (например, на плане выборки), а не на статистическом тесте.

Карл Ове Хуфтхаммер

Что вы хотите сделать с моделями? Одна модель может быть лучше для некоторых целей, а другая модель лучше для других целей. Все модели ошибочны, поэтому вопрос не в том, какая модель верна, а в том, что более полезно для вашей конкретной проблемы.

Кодиолог

@ Kodiologist В основном, я хочу гарантировать, что оценки параметра для фиксированных эффектов надежны. Стандартные ошибки которых могут быть ненадежными, если наблюдения считаются независимыми. Кроме того, было бы неплохо сделать некоторые заявления о том, как переменная случайный эффект, но я думаю, это не так важно.

user9171

@ user9171 Хорошим способом проверки стабильности (надежности) в оценках параметров модели является использование начальной загрузки. Распределения начальной загрузки графика для каждого параметра, которые разделяют две модели, с одним графиком для параметра и модели. Более узкие распределения подразумевают более высокую стабильность. Скорее всего, вы обнаружите, что более простая модель дает более стабильные оценки, поскольку меньшее количество параметров позволяет более точно оценить каждый параметр.

Кодиолог

Сравнение моделей со смешанными и фиксированными эффектами (тестирование значимости случайных эффектов)

Ответы: