Почему мы видим только регуляризацию

Мне просто любопытно, почему обычно есть только регуляризация норм и . Есть ли доказательства того, почему они лучше? $L_1$ $L_2$

lasso regularization ridge-regression user10024395
источник

(+1) Я не исследовал этот вопрос специально, но опыт работы с подобными ситуациями показывает, что может быть хороший качественный ответ: все нормы, которые являются вторыми дифференцируемыми в источнике, будут локально эквивалентны друг другу, из которых норма

это стандарт. Все остальные нормы не будут дифференцируемыми в источнике, и

качественно воспроизводит их поведение. Это охватывает гамму. По сути, линейная комбинация нормы

приближает любую норму ко второму порядку в начале координат - и это то, что имеет наибольшее значение в регрессии без каких-либо невязок.

L^{2}

$L^2$

L^{1}

$L^1$

L^{1}

$L^1$

L^{2}

$L^2$

uuber

Да, это по существу теорема Тейлора.

whuber

Предпосылка вопроса ложна: используются другие

-нормы, хотя и гораздо реже.

ℓ_{p}

$\ell_p$

Firebug

Линейная комбинация, которую упоминает @whuber, часто называется эластичной сеткой .

Лука

Кроме того, среди норм Lp

также получает много пробега.

L^{\infty}

$L^\infty$

user795305

Ответы:

В дополнение к комментариям @ whuber (*).

Книга Hastie и др. Статистическое обучение со Sparsity обсуждает это. Они также используют то, что называется «нормой» (кавычки, потому что это не норма в строгом математическом смысле (**)), которая просто подсчитывает число ненулевых компонентов вектора. $L_0$

В этом смысле норма используется для выбора переменной, но она вместе с нормами с не является выпуклой, поэтому ее трудно оптимизировать. Они утверждают (аргумент, который, я думаю, исходит от Донохоу в сжатых ощущениях), что норма , то есть лассо, является наилучшей выпуклостью «нормы» («ближайшая выпуклая релаксация выбора лучшего подмножества»). Эта книга также ссылается на некоторые применения других норм . Единичный шар в -норме с выглядит следующим образом $L_0$ $l_q$ $q<1$ $L_1$ $L_0$ $L_q$ $l_q$ $q<1$

(изображение из Википедии), в то время как графическое объяснение того, почему лассо может обеспечить выбор переменной,

Это изображение из указанной выше книги. Вы можете видеть, что в случае лассо (единичный шарик, нарисованный как ромб) гораздо более вероятно, что эллипсоидальные (сумма квадратов) контуры сначала коснутся алмаза в одном из углов. В невыпуклом случае (фигура первого единичного шарика) еще более вероятно, что первое касание между эллипсоидом и единичным шариком будет в одном из углов, так что в этом случае выделение переменной будет выделяться даже больше, чем лассо.

Если вы попробуете это «лассо с невыпуклым штрафом» в Google, вы получите много работ, в которых будут возникать лассо-подобные проблемы с невыпуклым штрафом, как с . $l_q$ $q < 1$

(*) Для полноты я копирую комментарии Вубера здесь:

Я не исследовал этот вопрос специально, но опыт работы с подобными ситуациями показывает, что может быть хороший качественный ответ: все нормы, которые являются вторыми дифференцируемыми в источнике, будут локально эквивалентны друг другу, из которых норма является стандартом. Все остальные нормы не будут дифференцируемыми в источнике, и качественно воспроизводит их поведение. Это охватывает гамму. По сути, линейная комбинация нормы и приближает любую норму ко второму порядку в начале координат - и это то, что имеет наибольшее значение в регрессии без каких-либо невязок. $L_2$ $L_1$ $L_1$ $L_2$

(**) У - «норма» отсутствует однородность, что является одной из аксиом для норм. Средство для гомогенности , что . $l_0$ $\alpha \ge 0$ $\| \alpha x \| = \alpha \| x \|$

Къетил б Халворсен
источник

@kjetilbhalvorsen Спасибо за ваш глубокий ответ. Я выбираю необычный надстрочный индекс, чтобы соответствовать вопросу и названию. Конечно, вы можете написать это так, как вы предпочитаете.

Ferdi

@kjetilbhalvorsen Можете ли вы немного расширить комментарий Уубер? Хорошо известно, что норма

не дифференцируема в начале координат (например, рассмотрим

). Также не ясно, что подразумевается под «локальной эквивалентностью» норм. Ссылки необходимы, чтобы не сказать больше.

L^{2}

$L^2$

x \mapsto | x |

$x \mapsto |x|$

Оливье

@Olivier

-норма дифференцируема в начале координат, вы думаете о

-норме.

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Firebug

@ Firebug Нет. Я думаю о норме

в 1 измерении, которая там такая же, как норма

. Я что-то пропустил?

L^{2}

$L^2$

L^{1}

$L^1$

Оливье

@ Оливье О, ты на самом деле прав. Я не понял, потому что квадрат

-норма фактически используется, и это дифференцируема всюду.

ℓ_{2}

$\ell_2$

Firebug

Я думаю, что ответ на вопрос во многом зависит от того, как вы определяете «лучше». Если я правильно истолковываю, вы хотите знать, почему эти нормы появляются так часто по сравнению с другими вариантами. В этом случае ответ прост. Интуиция за регуляризацией заключается в том, что у меня есть какой-то вектор, и я бы хотел, чтобы этот вектор был в некотором смысле «маленьким». Как вы описываете размер вектора? Ну, у вас есть выбор:

Считаете ли вы, сколько элементов у него ? $(L_0)$
Вы складываете все элементы ? $(L_1)$
Вы измеряете, как долго «стрелка» ? $(L_2)$
Используете ли вы размер самого большого элемента ? $(L_\infty)$

Вы можете использовать альтернативные нормы, такие как , но у них нет дружественных, физических интерпретаций, подобных приведенным выше. $L_3$

$L_2$ $L_2$

$e^x$

В противном случае выбор нормы имеет очень субъективные последствия, и вы, как человек, который формулирует проблему, можете определить, что вы предпочитаете в оптимальном решении. Вас больше волнует, чтобы все компоненты в вашем векторе решений были одинаковыми по величине или чтобы размер самого большого компонента был как можно меньшим? Этот выбор будет зависеть от конкретной проблемы, которую вы решаете.

Красная панда
источник

$L_1$ $L_2$ $L_1$

$L_2$ $n$ -пространство, а также комплексная переменная норма . Причем Тихоновская регуляризация и гребневая регрессия , т. Е. Приложения, минимизирующие $\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$ , часто считаются $L_2$ norms.

Wikipedia gives information about these and the other norms. Worth a mention are $L_0$ . The generalized $L_p$ norm, the $L_\infty$ norm also called the uniform norm.

Carl
источник