Интерпретация значения AIC

Типичные значения AIC, которые я видел для логистических моделей, исчисляются тысячами, по меньшей мере, сотнями. например, на http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ AIC составляет 727,39

Хотя всегда говорят, что AIC следует использовать только для сравнения моделей, я хотел понять, что означает конкретное значение AIC. По формуле $AIC= -2 \log(L)+ 2K$

Где, L = максимальное правдоподобие из оценки MLE, K - количество параметров

В приведенном выше примере K = 8

Итак, с простой арифметикой:

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

Итак, если мое понимание верно, это вероятность того, что функция, определенная MLE, подгоняет данные. Это кажется действительно очень низким.

Что мне здесь не хватает?

Нет такой вещи, как «типичная» или правильная вероятность для модели. То же самое с AIC , то есть отрицательная логарифмическая вероятность, оштрафованная по ряду параметров. Более низкое значение AIC предполагает «лучшую» модель, но это относительная мера соответствия модели. Он используется для выбора модели, т. Е. Позволяет сравнивать разные модели, оцениваемые по одному и тому же набору данных.

Отзыв GEP Box, сказав, что «все модели ошибочны, но некоторые полезны», вы не заинтересованы в поиске модели, которая идеально подходит для ваших данных, потому что это невозможно, и такая модель во многих случаях будет очень плохой, перегруженной , Вместо этого вы ищете лучший, который вы можете получить, самый полезный. Общая идея AIC заключается в том, что модель с меньшим числом параметров лучше, что как-то согласуется с аргументом бритвы Оккама , что мы предпочитаем простую модель более сложной.

Вы можете проверить следующие документы:

Anderson, D. & Burnham, K. (2006). АИК мифы и недоразумения.

Burnham, KP & Anderson, DR (2004). Мультимодельный вывод. Понимание AIC и BIC в выборе модели. Социологические методы и исследования, 33 (2), 261-304.

и эти темы:

В чем разница между «вероятностью» и «вероятностью»?

Есть ли основания предпочитать AIC или BIC другим?

$R^2$$\chi^2$$\chi^{2} - 2\times$$R^2$$1 - \exp(-\chi^{2} / n)$$R^2$$R^2$

Это кажется действительно очень низким. Что мне здесь не хватает?

Количества, такие как AIC, которые предполагают использование логарифмического правдоподобия, имеют смысл только относительно других таких величин . Помните, что функция правдоподобия определяется только с точностью до постоянной масштабирования, поэтому ее можно увеличивать или уменьшать по желанию. Следовательно, логарифмическая вероятность определяется только с точностью до константы местоположения и может быть смещена вверх или вниз по желанию. Это относится и к AIC, так как эта величина является всего лишь логарифмической вероятностью, сдвинутой на штраф за количество параметров. По этой причине говорят, что AIC следует использовать только для сравнения моделей.

$n=800$

$\hat{\ell}/n = -0.4449375$$0.6408643$

Вы правильно указали, что если вы пересчитаете вероятность, используя AIC, о котором сообщает R, вы получите смехотворно низкую вероятность. Причина в том, что значение AIC, сообщаемое R (назовите его AICrep), не является истинным AIC (AICtrue). AICrep и AICtrue отличаются постоянной величиной, которая зависит от измеренных данных, но которая не зависит от выбранной модели. Поэтому вероятность, рассчитанная обратно из AICrep, будет неверной. Именно различия в AIC, когда разные модели используются для размещения одних и тех же данных, полезны при выборе наилучшей модели.