При вычислении AIC,
k означает «количество параметров». Но что считается параметром? Так, например, в модели
A и b всегда считаются параметрами? Что если мне не важно значение перехвата, могу ли я его игнорировать или он все еще считается?
Что, если
где - функция от c и x, теперь я считаю 3 параметра?
Ответы:
Как упомянуто мугеном, представляет количество оцененных параметров . Другими словами, это количество дополнительных количеств, которое вам нужно знать, чтобы полностью указать модель. В простой модели линейной регрессии вы можете оценить , или оба. Какое бы количество вы не оценили, вы должны исправить. Нет «игнорирования» параметра в том смысле, что вы его не знаете и не заботитесь об этом. Наиболее распространенная модель, которая не оценивает как и - это модель без перехвата, где мы фиксируем . Это будет иметь 1 параметр. Вы также можете легко исправить илиy = a x + b a b a b b = 0 a = 2 b = 1 σК
Если ваша модель имеет вид число параметров зависит от того, фиксируете ли вы какое-либо из этих значений и от формы . Например, если мы хотим оценить и знать, что , то когда мы выписываем модель, мы имеем с тремя неизвестными параметрами. Однако, если , то у нас есть модель которая на самом деле имеет только два параметра: и .f a , b , c f ( c , x ) = x c
Крайне важно, чтобы было семейством функций, индексированных . Если все, что вы знаете, это то, что непрерывна и зависит от и , то вам не повезло, потому что существует бесконечно много непрерывных функций.c f ( c , x ) c xе( с , х ) с е( с , х ) с Икс
источник
(см. здесь )
Как вы можете видеть, представляет количество параметров, оцененных в каждой модели. Если ваша модель включает в себя перехват (то есть, если вы вычисляете точечную оценку, дисперсию и доверительный интервал для перехвата), то он считается параметром. С другой стороны, если вы вычисляете модель без перехвата, это не считается.k
Помните, что AIC не только суммирует качество соответствия, но также учитывает сложность модели. Вот почему существует , чтобы штрафовать модели с большим количеством параметров.k
Я не чувствую себя достаточно компетентным, чтобы ответить на ваш второй вопрос, я оставлю это другому члену сообщества.
источник
Во-первых, для тех, кто может быть не знаком с AIC: информационный критерий Акаике (AIC) - это простая метрика, предназначенная для сравнения «качества» моделей.
Согласно AIC, при попытке выбора между двумя разными моделями, применяемыми к одним и тем же входным и ответным переменным , т. Е. Моделями, разработанными для решения одной и той же проблемы, модель с более низким AIC считается «лучшей».
В формуле AIC относится к числу переменных (входных объектов или столбцов) в модели. Чем сложнее модель (чем больше переменных требуется для получения оценки или прогноза), тем выше AIC. Это гарантирует, что среди двух моделей с одинаковой предсказательной силой или точностью победит более простая модель. Это форма бритвы Оккама.k
Таким образом, простой ответ на последний вопрос: еслиf(c,x) k
c
in является константой , которая не изменяется с наблюдениями, то она не должна быть включена в .kисточник