Нормы - Что особенного в?

норма является уникальной (по крайней мере частично) , потому что находится на границе между невыпуклые и выпуклы. норма является «наиболее разреженным» выпуклая норма (правда?).$L_1$$p=1$$L_1$

Я понимаю, что евклидова норма имеет корни в геометрии и имеет четкую интерпретацию, когда измерения имеют одинаковые единицы. Но я не понимаю, почему он используется преимущественно над другими действительными числами : ? ? Почему бы не использовать полный непрерывный диапазон в качестве гиперпараметра?$p=2$$p>1$$p=1.5$$p=\pi$

Что мне не хватает?

Более математическое объяснение состоит в том, что пространство , состоящее из всех рядов, сходящихся по p-норме, является только Гильбертом с p = 2 и не имеет другого значения. Это означает, что это пространство завершено, и норма в этом пространстве может быть индуцирована внутренним произведением (представьте знакомый точечный продукт в R n ), поэтому работать с ним немного приятнее.$l^p$$p=2$$R^n$

Вот несколько причин:

1. Это очень специфически связано с внутренним продуктом: это его собственная двойственная норма (то есть, она "двойственная").
   Это означает, что, если вы рассмотрите все векторы внутри единичного шара, их максимальное внутреннее произведение с любым вектором z будет ℓ 2 нормой самого z . Менее странно, он удовлетворяет свойству, что ‖ x ‖ 2 2 = x ⋅ x . Никакая другая ℓ p- норма не ведет себя таким образом.$\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$$\ell_p$

2. У него очень удобный плавный градиент: Вы действительно не можете победить это!

   $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

Хотя может быть много других причин, но AFAIK p = 2 предпочтительнее по следующим причинам:

• Мера сходства / различий: для p = 2 евклидова норма дает меру сходства или различий между двумя векторами, которые затем могут быть использованы для получения лучшего понимания данных. Более подробные ответы на этот вопрос можно найти здесь .
• Регуляризация: норма L2 используется для регуляризации в машинном обучении и является предпочтительной по двум причинам: 1) ее легко дифференцировать 2) при регуляризации L2 веса имеют тенденцию к снижению пропорционально весам. Следовательно, регуляризация L2 штрафует большие веса больше по сравнению с меньшими весами.

Квадратные ошибки в линейных моделях часто предпочтительны из-за:

• отношение к ортогональности, которое ведет себя хорошо по отношению к некоторым случайным явлениям, рассматриваемым как шум (некоррелированность)
• $L_1$
• это дает гибкие алгоритмы оптимизации, поскольку производная превращается в линейные системы

$L_1$$\ell_1$$\ell_p$$0<p<1$

$\ell_0$$\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$

Таким образом, в соответствии с нормами некоторые рассматривают (невыпуклые) нормы норм, такие как $\ell_1 / \ell_2$$\ell_1 / \ell_2$