AIC регрессии гребня: степени свободы в зависимости от количества параметров

Я хочу рассчитать AICc модели регрессии гребня. Проблема в количестве параметров. Для линейной регрессии большинство людей предполагают, что число параметров равно количеству оценочных коэффициентов плюс сигма (дисперсия ошибки).

Когда дело доходит до регрессии гребня, я читал, что след матрицы шляп - степень свободы (df) - просто используется как число параметров в формуле AIC (например, здесь или здесь ).

Это верно? Могу ли я просто использовать df для расчета AICc? Могу ли я просто добавить +1 к df для учета дисперсии ошибок?

AIC и регрессия гребня могут быть сделаны совместимыми, когда сделаны определенные предположения. Однако не существует единого метода выбора усадки для регрессии гребня, поэтому нет общего метода применения AIC к нему. Хребетная регрессия является подмножеством тихоновской регуляризации . Есть много критериев, которые можно применять для выбора сглаживающих факторов для регуляризации Тихонова, например, см. Это . Чтобы использовать AIC в этом контексте, существует документ, в котором сделаны довольно конкретные предположения относительно того, как выполнить эту регуляризацию, выбор параметра регуляризации на основе информационной сложности для решения плохо обусловленных обратных задач . В частности, это предполагает

«В статистической структуре ... выбирая значение параметра регуляризации α и используя метод максимального штрафного правдоподобия (MPL) .... Если мы рассмотрим некоррелированный гауссов шум с дисперсией и используем штраф сложная норма, см. ссылку выше , решение MPL такое же, как и для регуляризованного решения Тихонова (1963). "$\sigma ^2$$p(x) =$

Тогда возникает вопрос: должны ли быть сделаны эти предположения? Вопрос о необходимых степенях свободы является вторичным по отношению к вопросу о том, используются ли AIC и регрессия гребня в согласованном контексте. Я хотел бы предложить прочитать ссылку для деталей. Я не избегаю вопроса, просто можно использовать множество вещей в качестве целевых объектов, например, можно использовать коэффициент сглаживания, который оптимизирует сам AIC . Итак, один хороший вопрос заслуживает другого: «Зачем беспокоиться о AIC в контексте хребта?» В некоторых контекстах регрессии гребня трудно понять, как AIC можно сделать актуальным. Так , например, гребень регрессия была применена для того , чтобы минимизировать относительное распространение ошибок в , то есть, мин$b$$\left [ \dfrac{\text{SD}(b)}{b}\right ]$ гамма-распределения (GD), заданного

согласно этой статье . В частности, эта трудность возникает потому , что в этой работе, то есть, по сути, Субъективная U NDER на Время C Urve (ППК) , который оптимизирован, а не максимального правдоподобия (ML) в благости подходит между измеренными временными выборками. Чтобы было понятно, это сделано потому, что AUC является некорректным интегралом, и, в противном случае, например, при использовании ML, подбор гамма-распределения будет недостаточно устойчивым. Таким образом, для этого конкретного приложения максимальное правдоподобие, то есть AIC, на самом деле не имеет значения. (Говорят, что AIC используется для прогнозирования, а BIC - для пригодности. Однако прогнозирование и соответствие подходят только косвенным образом для надежной оценки AUC.)$[0,\infty)$$[t_1,t_n]$

Что касается ответа на вопрос , то первая ссылка в тексте вопроса гласит : «Главное отметить, что является убывающей функцией [ Sic , коэффициент сглаживания] с [ Sic , эффективное число параметры см. в приведенной ниже трассировке матрицы] в и в . " Это означает, что равно количеству параметров минус число оцененных величин, когда нет сглаживания, что также, когда регрессия такая же, как у наименьших квадратов, и уменьшается до нуля.$df$$\lambda$d f = p λ = 0 d f = 0 λ = ∞ d f d f ∞ d f$df = p$$\lambda = 0$$df = 0$$\lambda=\infty$$df$$df$ поскольку коэффициент сглаживания увеличивается до . Обратите внимание, что для бесконечного сглаживания подгонка представляет собой плоскую линию независимо от того, какая функция плотности подгоняется. Наконец, точное число является функцией.$\infty$$df$

«Можно показать, что ), где { } - собственные значения . Интересно, что та же ссылка определяет как след шляпной матрицы, см. def .$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$$\lambda_i$$X^{\text{T}} X$$df$