Риджу и ЛАССО дана ковариационная структура?

11

Прочитав главу 3 «Элементы статистического обучения» (Hastie, Tibshrani & Friedman), я подумал, возможно ли реализовать известные методы сжатия, указанные в названии этого вопроса, с учетом ковариационной структуры, т. Е. Минимизировать (возможно, более общее). ) количество

(Y-Иксβ)TВ-1(Y-Иксβ)+λе(β),   (1)

вместо обычного Это было в основном мотивировано тем фактом, что в моем конкретном приложении у нас есть различные отклонения для (и иногда даже ковариационная структура, которая может быть оценена), и я хотел бы включить их в регрессии. Я сделал это для регрессии гребня: по крайней мере, с моей реализацией этого в Python / C, я вижу, что есть важные различия в путях, которые отслеживают коэффициенты, что также заметно при сравнении кривых перекрестной проверки в обоих случаях.

(Y-Иксβ)(Y-Иксβ)+λе(β),            (2)
Y

Сейчас я готовился попытаться реализовать LASSO с помощью регрессии наименьшего угла, но для этого я должен сначала доказать, что все его хорошие свойства по-прежнему действительны при минимизации вместо . До сих пор я не видел ни одной работы, которая на самом деле делает все это, но некоторое время назад я также читал цитату, в которой говорилось что-то вроде « те, кто не знает статистику, обречены ее заново открывать » (возможно, Брэд Эфрон? ), вот почему я сначала спрашиваю здесь (учитывая, что я относительный новичок в статистической литературе): это уже где-то сделано для этих моделей? Это как-то реализовано в R? (включая решение и реализацию гребня путем минимизации вместо(1)(2)(1)(2), что реализовано в коде lm.ridge в R)?

Заранее спасибо за ваши ответы!

Нестора
источник
Предыдущий ответ также сообщается с более подробной информацией в en.wikipedia.org/wiki/Generalized_least_squares . Решение может быть реализовано с использованием подхода Feasible Generalized Least Square (FGLS)
Никола Джин,

Ответы:

13

В-1знак равноLTL

(Y-Иксβ)TВ-1(Y-Иксβ)знак равно(LY-LИксβ)T(LY-LИксβ)
LYLИкс
NRH
источник