R - Лассо регрессия - разные лямбда на регрессор

Я хочу сделать следующее:

1) регрессия OLS (без штрафных санкций) для получения бета-коэффициентов ; обозначает переменные, используемые для регрессии. Я делаю это$b_{j}^{*}$$j$

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2) регрессия Лассо с условием штрафования, критериями выбора должны быть Байесовские критерии информации (BIC), определяемые

где обозначает номер переменной / регрессора, - количество наблюдений и - начальные бета-версии, полученные на шаге 1). Я хочу получить результаты регрессии для этого конкретного значения , которое отличается для каждого используемого регрессора. Следовательно, если есть три переменные, будет три разных значения .$j$$T$$b_{j}^{*}$$\lambda_j$$\lambda_j$

Задача оптимизации OLS-Лассо тогда задается

Как я могу сделать это в R с пакетом lars или glmnet? Я не могу найти способ указать лямбда, и я не уверен на 100%, если я получу правильные результаты, если я бегу

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

Я ценю любую помощь здесь.

Обновить:

Я использовал следующий код сейчас:

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

В строке 1 я использую перекрестную проверку с указанным штрафным коэффициентом ( ), который отличается для каждого регрессора , В строке 2 выбирается «lambda.min» файла fits.cv, который является лямбда-значением, дающим минимальную среднюю ошибку перекрестной проверки. Строка 3 выполняет лассо ( ) для данных. Я снова использовал штрафной коэффициент . В строке 4 извлекаются коэффициенты из подгонок, которые принадлежат «оптимальному» выбранному в строке 2.λ$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$alpha=1$\lambda$$\lambda$

Теперь у меня есть бета-коэффициенты для регрессоров, которые изображают оптимальное решение задачи минимизации

с штрафным коэффициентом . Оптимальный набор коэффициентов, скорее всего, является подмножеством регрессоров, которые я первоначально использовал, это является следствием метода Лассо, который сокращает количество используемых регрессоров.$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

Мое понимание и код верны?

Из glmnetдокументации ( ?glmnet) мы видим, что можно выполнить дифференциальную усадку. Это дает нам хотя бы частичную возможность ответить на вопрос ОП.

penalty.factor: К каждому коэффициенту могут применяться отдельные штрафные коэффициенты. Это число, которое умножается lambdaдля обеспечения дифференциальной усадки. Может быть 0 для некоторых переменных, что означает отсутствие усадки, и эта переменная всегда включена в модель. По умолчанию 1 для всех переменных (и неявно бесконечность для переменных, перечисленных в exclude). Примечание: штрафные коэффициенты внутренне пересчитываются для суммирования nvars, и lambdaпоследовательность будет отражать это изменение.

Чтобы полностью ответить на этот вопрос, я думаю, что вам доступны два подхода, в зависимости от того, чего вы хотите достичь.

1. Ваш вопрос заключается в том, как применить дифференциальное сжатие glmnetи извлечь коэффициенты для определенного значения . Если некоторые значения не равны 1, достигается дифференциальная усадка при любом значении . Чтобы добиться усадки st, усадка для каждого равна , нам просто нужно выполнить некоторую алгебру. Пусть будет штрафным коэффициентом для , для чего будет предоставлено . Из документации видно, что эти значения масштабируются с коэффициентом st . Это означает, что$\lambda$penalty.factor$\lambda$$b_j$ϕjbjCϕj=ϕ ′ j m=C∑ m j = 1 log$\phi_j= \frac{\log T}{T|b_j^*|}$$\phi_j$$b_j$penalty.factor$C\phi_j=\phi^\prime_j$ϕ ′ j ϕjCϕ ′ j λ=$m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$$\phi_j^\prime$заменяет в приведенном ниже выражении оптимизации. Так что решите для , значения для , а затем извлеките коэффициенты для . Я бы порекомендовал использовать .$\phi_j$$C$$\phi_j^\prime$glmnet$\lambda=1$coef(model, s=1, exact=T)

2. Второй - это «стандартный» способ использования glmnet: каждый выполняет повторную перекрестную проверку в раз, чтобы выбрать , чтобы вы минимизировали MSE вне выборки. Это то, что я опишу ниже более подробно. Причина, по которой мы используем CV и проверяем MSE вне выборки, заключается в том, что MSE в выборке всегда будет минимизировано для , т. Е. является обычным MLE. Использование CV при изменении позволяет нам оценить, как модель работает с данными вне выборки , и выбрать который является оптимальным (в определенном смысле).λ λ = 0 b λ $k$$\lambda$$\lambda=0$$b$$\lambda$$\lambda$

Этот glmnetвызов не определяет (и не должен, потому что по соображениям производительности он вычисляет всю траекторию по умолчанию). будет возвращать коэффициенты для значения . Но независимо от выбора вы предоставите, результат будет отражать дифференциальное наказание, которое вы применили в вызове, чтобы соответствовать модели.λ λ $\lambda$$\lambda$coef(fits,s=something)$\lambda$something$\lambda$

Стандартный способ выбора оптимального значения - использовать вместо . Перекрестная проверка используется для выбора величины сжатия, которая сводит к минимуму ошибку вне выборки, в то время как спецификация сокращает некоторые функции больше, чем другие, в соответствии с вашей схемой взвешивания.$\lambda$cv.glmnetglmnetpenalty.factor

Эта процедура оптимизирует

где - штрафной коэффициент для функции (что вы указали в аргументе). (Это немного отличается от вашего выражения оптимизации; обратите внимание, что некоторые из индексов отличаются.) Обратите внимание, что термин одинаков для всех функций, поэтому единственный способ сокращения некоторых функций по сравнению с другими - через . Важно отметить, что и - это не одно и то же; скалярная и вектор! В этом выражении является фиксированным / предполагаемым известным; то есть оптимизация выберет оптимальный , а не оптимальныйj t h λ ϕ j λ ϕ λ ϕ λ b $\phi_j$$j^{th}$penalty.factor$\lambda$$\phi_j$$\lambda$$\phi$$\lambda$$\phi$$\lambda$$b$$\lambda$,

Это в основном мотивация, glmnetнасколько я понимаю: использовать штрафованную регрессию для оценки регрессионной модели, которая не слишком оптимистична в отношении производительности вне выборки. Если это ваша цель, возможно, в конце концов это правильный метод для вас.