Прочитав главу 3 «Элементы статистического обучения» (Hastie, Tibshrani & Friedman), я подумал, возможно ли реализовать известные методы сжатия, указанные в названии этого вопроса, с учетом ковариационной структуры, т. Е. Минимизировать (возможно, более общее). ) количество
вместо обычного Это было в основном мотивировано тем фактом, что в моем конкретном приложении у нас есть различные отклонения для (и иногда даже ковариационная структура, которая может быть оценена), и я хотел бы включить их в регрессии. Я сделал это для регрессии гребня: по крайней мере, с моей реализацией этого в Python / C, я вижу, что есть важные различия в путях, которые отслеживают коэффициенты, что также заметно при сравнении кривых перекрестной проверки в обоих случаях.
Сейчас я готовился попытаться реализовать LASSO с помощью регрессии наименьшего угла, но для этого я должен сначала доказать, что все его хорошие свойства по-прежнему действительны при минимизации вместо . До сих пор я не видел ни одной работы, которая на самом деле делает все это, но некоторое время назад я также читал цитату, в которой говорилось что-то вроде « те, кто не знает статистику, обречены ее заново открывать » (возможно, Брэд Эфрон? ), вот почему я сначала спрашиваю здесь (учитывая, что я относительный новичок в статистической литературе): это уже где-то сделано для этих моделей? Это как-то реализовано в R? (включая решение и реализацию гребня путем минимизации вместо, что реализовано в коде lm.ridge в R)?
Заранее спасибо за ваши ответы!
источник
Ответы:
источник