Как следует сравнивать и / или проверять модели смешанных эффектов?

22

Как (линейные) модели смешанных эффектов обычно сравниваются друг с другом? Я знаю, что могут использоваться тесты отношения правдоподобия, но это не работает, если одна модель не является «подмножеством» другой, верно?

Всегда ли оценка моделей df проста? Количество фиксированных эффектов + количество оцененных компонентов дисперсии? Мы игнорируем оценки случайных эффектов?

Как насчет проверки? Моя первая мысль - перекрестная проверка, но случайные сгибы могут не сработать, учитывая структуру данных. Является ли подходящей методология «опустить один предмет / кластер вне»? А как насчет одного наблюдения?

Мэлловс Cp можно интерпретировать как оценку ошибки прогнозирования моделей. Выбор модели с помощью AIC пытается минимизировать ошибку прогнозирования (поэтому Cp и AIC должны выбрать одну и ту же модель, если я считаю, что ошибки гауссовские). Означает ли это, что AIC или Cp можно использовать для выбора «оптимальной» линейной модели смешанных эффектов из набора некоторых не вложенных моделей с точки зрения ошибки прогнозирования? (при условии, что они соответствуют одним и тем же данным) BIC все еще с большей вероятностью выберет «истинную» модель среди кандидатов?

У меня также сложилось впечатление, что при сравнении моделей со смешанными эффектами через AIC или BIC мы учитываем только фиксированные эффекты в качестве «параметров» в расчете, а не фактические модели df.

Есть ли хорошая литература по этим темам? Стоит ли исследовать cAIC или mAIC? У них есть конкретное применение за пределами AIC?

DCL
источник
2
Что вы подразумеваете под применением cAIC или mAIC «вне AIC»? DIC - это широко используемая мера прогнозирующей точности, которую вы можете исследовать, которая пытается наложить штраф на «эффективное» количество параметров, включенных в многоуровневую модель.
Гость
@ Я имею в виду, они имеют конкретное применение, скажем, для конкретных типов моделей? Я проверю DIC. Спасибо.
DCL

Ответы:

12

Основная проблема при выборе модели в смешанных моделях состоит в том, чтобы действительно определить степени свободы (df) модели. Чтобы вычислить df смешанной модели, необходимо определить количество оценочных параметров, включая фиксированные и случайные эффекты. И это не просто. Этот документ Jiming Jiang и др. (2008), озаглавленный «Методы забора для выбора смешанной модели», может быть применен в таких ситуациях. Новая соответствующая работа это одна от Greven, S. & Kneib, T. (2010) , озаглавленный «О поведении предельной и условной АИК в линейных смешанных моделей». Надеюсь, это может быть полезно.

hbaghishani
источник
Я проверю эти документы. Приветствия.
DCL
6

Один из способов сравнить модели (смешанные или иные) - построить результаты. Предположим, у вас есть модель A и модель B; выведите подходящие значения для каждого и нанесите их друг на друга на диаграмме рассеяния. Если значения очень похожи (исходя из вашего суждения о том, являются ли они), выберите более простую модель. Другая идея состоит в том, чтобы найти различия между подобранными значениями и отобразить их в зависимости от независимых значений; Вы также можете сделать график плотности различий. В общем, я сторонник не использования статистических тестов для сравнения моделей (хотя AIC и ее варианты, безусловно, имеют достоинства), а скорее использования суждений. Конечно, это имеет (не) преимущество в том, что не дает точных ответов.

Питер Флом - Восстановить Монику
источник
То, что вы описываете, это просто сравнение моделей, когда основной целью является их способность к прогнозированию. Кроме того, графические результаты могут быть очень информативными, чтобы определить, какие модели могут быть полезны, но, как правило, они не являются полностью формальными научными результатами.
hbaghishani
2
Привет @hbaghishani; Я просто процитирую Тьюки: «Гораздо лучше приблизительный ответ на правильный вопрос, который часто является расплывчатым, чем точный ответ на неправильный вопрос, который всегда можно уточнить». :-). Это не совсем уместно здесь, но это, по крайней мере, частично в цель
Питер Флом - Восстановить Монику
1
Я обычно делаю сюжеты, которые вы описываете при построении модели. Но я действительно искал более «математический» метод. Приветствия
dcl
Если сравнивать разные модели на основе прогнозирующих характеристик, я понимаю, что прогнозируемые значения для смешанных моделей со случайными эффектами и без них должны быть идентичными (т. Е. Коэффициенты регрессии будут беспристрастными в моделях со случайными эффектами и без них, меняются только стандартные ошибки).
RobertF