Существует ли четкий набор условий, при которых пути лассо, гребня или эластичной сетки монотонны?

Вопрос « Что делать из этого лассо-графика (glmnet)» демонстрирует пути решения для оценки лассо, которые не являются монотонными. То есть некоторые коэффициенты растут по абсолютной величине, а затем сокращаются.

Я применил эти модели к нескольким видам наборов данных и никогда не видел такого поведения «в дикой природе», и до сегодняшнего дня предполагал, что они всегда были монотонными.

Существует ли четкий набор условий, при которых пути решения гарантированно будут монотонными? Влияет ли это на интерпретацию результатов, если пути меняют направление?

lasso ridge-regression elastic-net shadowtalker
источник

Монотонный в каком смысле? Мне кажется, что это не очень важно, если вы хотите рассматривать это как график некоторой функции.

Henry.L

@ Henry.L Вопрос можно перефразировать следующим образом: когда верно следующее: для у нас есть это для всех , где . То есть лассо равномерно сжимается по компонентам. Не могли бы вы уточнить, в чем вы сомневаетесь?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

user795305

Примечание: понимание , каким образом Lasso усадки коэффициентов является темой как этого вопроса и stats.stackexchange.com/questions/145299/...

user795305

Я не знаю, как я пропустил это раньше, на вопрос лассо ответили на вопрос ФП на его собственный вопрос в вопросе выше.

user795305

Ответы:

Я могу дать вам достаточное условие путь монотонный: ортонормированный дизайн $X$ .

Предположим, ортонормированная матрица проектирования, то есть с переменными в , мы имеем, что . В ортонормированном дизайне коэффициенты регрессии OLS просто . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Условия Каруша-Хун-Такера для LASSO, таким образом, упрощаются, чтобы:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Где это суб градиент. Следовательно, для каждого у нас есть , и мы имеют замкнутую форму решения лассо оценок: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Который монотонен в . Хотя это не является необходимым условием, мы видим , что немонотонность должна исходить из соотношения ковариата в . $\lambda$ $X$

Карлос Синелли
источник