Мы с моим коллегой подбираем ряд линейных и нелинейных моделей смешанных эффектов в R. Нас просят провести перекрестную проверку на подобранных моделях, чтобы можно было убедиться, что наблюдаемые эффекты относительно обобщаемы. Обычно это тривиальная задача, но в нашем случае мы должны разделить все данные на обучающую и тестовую части (для целей CV), которые не имеют общих уровней. Например,
Данные обучения могут быть основаны на группах 1,2,3,4; Соответствующая модель затем проходит перекрестную проверку в группе 5.
Таким образом, это создает проблему, поскольку групповые случайные эффекты, оцененные на данных обучения, не применяются к данным тестирования. Таким образом, мы не можем CV модели.
Есть ли относительно простое решение для этого? Или кто-нибудь написал пакет для решения этой проблемы? Любая подсказка приветствуется!
Спасибо!
источник
Ответы:
Фанг (Fang, 2011) продемонстрировал асимптотическую эквивалентность между AIC, применяемой к смешанным моделям, и перекрестной валидацией одного кластера. Возможно, это удовлетворило бы вашего рецензента, позволив вам просто вычислить AIC как более простое для вычисления приближение к тому, что они запрашивали?
источник
Colby and Bair (2013) разработали метод перекрестной проверки, который можно применять к нелинейным моделям со смешанными эффектами. Вы можете посетить эту ссылку, чтобы узнать больше.
источник