Почему потеря нормы L2 имеет единственное решение, а потеря нормы L1 может иметь несколько решений?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

Если вы посмотрите на верхнюю часть этого поста, автор упомянет, что норма L2 имеет уникальное решение, а норма L1, возможно, имеет много решений. Я понимаю это с точки зрения регуляризации, но не с точки зрения использования нормы L1 или нормы L2 в функции потерь.

Если вы посмотрите на графики функций скаляра x (x ^ 2 и | x |), вы легко увидите, что оба имеют одно уникальное решение.

Рассмотрим одномерную задачу для максимально простого изложения. (Случаи более высоких размеров имеют схожие свойства.)

$|x-\mu|$$(x-\mu)^2$$\sum_i |x_i-\mu|$$x_1=1$$x_2=3$

$\mu$

$L_1$

$\sum_i (x_i-\mu)^2 = n(\bar{x}-\mu)^2+k(\mathbf{x})$

$L_1$

Поскольку (за исключением некоторых конкретных обстоятельств) у вас обычно нет такой гарантии отсутствия очень влиятельных наблюдений, я бы не назвал L1-регрессию надежной.

R код для участка:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

Минимизация потерь L2 соответствует вычислению среднего арифметического, которое является однозначным, в то время как минимизация потерь L1 соответствует вычислению медианы, которая неоднозначна, если четное число элементов включено в вычисление медианы (см. Центральная тенденция: решения вариационных задач ).