Я не очень знаком с этой литературой, поэтому, пожалуйста, прости меня, если это очевидный вопрос.
Поскольку AIC и BIC зависят от максимизации вероятности, кажется, что они могут использоваться только для сравнительных сравнений между набором моделей, пытающихся соответствовать заданному набору данных. Насколько я понимаю, не имеет смысла вычислять AIC для модели A на наборе данных 1, вычислять AIC для модели B на наборе данных 2, а затем сравнивать два значения AIC и судить об этом (например) Модель А соответствует набору данных 1 лучше, чем Модель Б - к набору данных 2. Или, возможно, я ошибаюсь, и это разумное решение. Пожалуйста, дайте мне знать.
Мой вопрос заключается в следующем: существует ли статистика соответствия модели, которая может использоваться для абсолютных, а не только для относительных сравнений? Для линейных моделей что-то вроде будет работать; он имеет определенный диапазон и дисциплинирует конкретные представления о том, что является «хорошей» ценностью. Я ищу что-то более общее и подумал, что могу начать с пингования экспертов здесь. Я уверен, что кто-то думал о подобных вещах раньше, но я не совсем знаю правильные термины для продуктивного поиска в Google Scholar.
Любая помощь будет оценена.
источник
Ответы:
В соответствии с тем, что предложил Макро, я считаю, что термин, который вы ищете, является показателем эффективности. Хотя это не безопасный способ оценки прогностической силы, это очень полезный способ сравнить качество подгонки различных моделей.
В качестве примера можно привести среднюю среднюю процентную ошибку, но можно легко найти другие из них.
Предположим, что вы используете SetA с моделью A для описания количества дыр в дороге, и вы используете SetB и модель B для описания количества людей в стране, тогда, конечно, вы не можете сказать, что одна модель лучше, чем другая, но вы можете по крайней мере, посмотреть, какая модель дает более точное описание.
источник
Я думаю, что есть несколько новых работ, посвященных именно тому, что вы ищете; Накагава и Шилзет (2013) представляют статистику R² для моделей со смешанными эффектами под названием «R2 GLMM», чтобы определить количество необъяснимых отклонений в модели.
Условный R²GLMM интерпретируется как дисперсия, объясняемая как постоянными, так и случайными факторами;
Предельная величина R²GLMM представляет собой дисперсию, объясняемую фиксированными коэффициентами.
В 2014 году Джонсон обновил уравнение для учета моделей случайных уклонов.
К счастью, вы можете легко рассчитать как предельную, так и условную R²GLMM, используя пакет "MuMIn" в R ( Barton, 2015 ).
источник