Регрессия L1 оценивает медиану, тогда как регрессия L2 означает?

24

Поэтому мне был задан вопрос, по каким оценкам центральные меры L1 (т.е. лассо) и L2 (т.е. регрессия гребня). Ответ L1 = медиана и L2 = среднее. Есть ли интуитивные рассуждения об этом? Или это должно быть определено алгебраически? Если да, то как мне это сделать?

lasso regularization loss-functions ridge-regression BSTAT
источник

4

Под L1 / L2 вы ссылаетесь на целевую функцию или ограничения? Если целевая функция, то да L1 ошибка минимизируется с помощью условного медианы, а L2 - условного среднего. Если ограничения (на что ссылаются ридж / лассо), то это неправильный способ думать об этом. Их «центральные меры» все еще нацелены на условное среднее, но с различными штрафами на

β

$\beta$ .

Муратоа

24

Существует простое геометрическое объяснение того, почему функция потерь L1 дает медиану.

Напомним, что мы работаем в одном измерении, поэтому представьте, что числовая линия распространяется горизонтально. Нанесите на карту каждую из точек данных на числовой линии. Положите палец где-нибудь на линии; ваш палец будет вашей текущей оценкой кандидата.

Предположим, вы немного сместили палец вправо, скажем, на единиц вправо. Что происходит с полной потерей? Хорошо, если ваш палец находился между двумя точками данных, и вы перемещаете его через точку данных, вы увеличили общую потерю на для каждой точки данных слева от вашего пальца и уменьшили ее на для каждой точки данных до правый палец. Таким образом, если справа от вашего пальца больше точек данных, чем слева, перемещение пальца вправо уменьшает общую потерю. Другими словами, если более половины точек данных находятся справа от вашего пальца, вам следует переместить палец вправо. $\delta$ $\delta$ $\delta$

Это приводит к тому, что вы перемещаете палец к точке, где половина точек данных находится на этой точке, а половина - справа. Это место медиана.

Это L1 и медиана. К сожалению, у меня нет аналогичного объяснения «все интуиция, без алгебры» для L2 и среднего значения.

DW
источник

7

Если мы говорим о простой точечной оценке, то это прямое исчисление.

\frac{d}{d β} \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β)^{2} = - 2 \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β) = 0 \Rightarrow β = \frac{1}{n} \sum_{i} y_{i}

$\frac{d}{d \beta} \frac{1}{n}\sum_{i=1}^n (y_i - \beta)^2 = -2\frac{1}{n}\sum_{i=1}^n(y_i - \beta) = 0 \Rightarrow \beta = \frac{1}{n}\sum_i y_i$

Муратоа

3

@muratoa, да, я знаю вывод исчисления, но вопрос требует специально объяснения, которое фокусируется на интуиции и избегает алгебры. Я предположил бы, что спрашивающий уже знает вывод исчисления, но ищет что-то, что обеспечивает больше интуиции.

DW

Я думал, что ОП упомянул регрессию, которая предполагает, что он говорит об оценке y с учетом x, который является условным средним с использованием наименьших квадратов и условной медианой для средней абсолютной ошибки. Те же объяснения должны работать, но проблема немного в другом. Исчисление объяснения среднего значения довольно ясно и просто. Возможно, объяснение среднего значения может быть дано аналогично DW для медианы. Среднее значение выборки представляет собой объективную оценку среднего значения для населения.

Майкл Р. Черник

По мере удаления оценки от выборки среднеквадратичная ошибка изменяется из-за увеличения смещения. Среднеквадратичная ошибка фактически увеличивается на d

когда оценка добавляет d к среднему значению выборки в качестве оценки кандидата.

^{2}

$^2$

Майкл Р. Черник

11

Быстрый и грязный вариант алгебры, заданной muratoa, существует для случая L1. Заметим, что за исключением случаев, когда

, производная от

где

-

, то есть

если

и

если

. Так

β = y_{i}

$\beta = y_i$

| y_{i} - β |

$| y_i -\beta |$

β

$\beta$

- s g n (y_{i} - β)

$-\mathrm{sgn}(y_i-\beta)$

- 1

$-1$

β < y_{i}

$\beta < y_i$

+ 1

$+1$

β > y_{i}

$\beta > y_i$

, за исключением случаев, когда

является

. Производная исчезает, когда среди

имеется одинаковое количество положительных и отрицательных членов, что грубо говоря возникает, когда

является медианой

.

\frac{d}{d β} \frac{1}{n} \sum_{i} | y_{i} - β | = - \frac{1}{n} \sum_{i} s g n (y_{i} - β)

$\frac{\mathrm{d}}{\mathrm{d}\beta} \,\frac{1}{n}\sum_i | y_i -\beta | = -\frac{1}{n}\,\sum_i \mathrm{sgn}(y_i-\beta)$

β

$\beta$

y_{i}

$y_i$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

Ив

17

Это объяснение является суммой комментариев Муратоа и Ива к ответу Д.В. Хотя он основан на исчислении, я нашел его простым и понятным.

Предполагая , что мы и хотеть получить новую оценку на их основе. Наименьшая потеря получается, когда мы находим который делает производную потери равной нулю. $y_1, y_2, ... y_k$ $\beta$ $\beta$

Потеря L1

L 1 знак равно \frac{1}{К} Σ_{я знак равно 1}^{К} | Y_{я} - β |

$L1=\frac{1}{k}\sum_{i=1}^k|y_i-\beta|$

равен 1когда

, -1когда

. Производная равна 0, если среди

одинаковое количество положительных и отрицательных членов, что означает, что

должно быть медианой

.

\frac{\partial L_{1}}{\partial β} знак равно - \frac{1}{К} Σ_{я знак равно 1}^{К} s г N (Y_{я} - β)

$\frac{\partial L_1}{\partial\beta}=-\frac{1}{k}\sum_{i=1}^k sgn(y_i-\beta)$

s g n (y_{i} - β)

$sgn(y_i-\beta)$

y_{i} > β

$y_i>\beta$

y_{i} < β

$y_i<\beta$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

L2 потеря

L 2 знак равно \frac{1}{К} Σ_{я знак равно 1}^{К} (Y_{я} - β)^{2}

$L2=\frac{1}{k}\sum_{i=1}^k(y_i-\beta)^2$

\frac{\partial L_{2}}{\partial β} знак равно - \frac{2}{К} Σ_{я знак равно 1}^{К} (Y_{я} - β)

$\frac{\partial L_2}{\partial\beta}=-\frac{2}{k}\sum_{i=1}^k(y_i-\beta)$

\frac{\partial L_{2}}{\partial β} знак равно 0 \to β знак равно \frac{1}{К} Σ_{я знак равно 1}^{К} Y_{я}

$\frac{\partial L_2}{\partial\beta}=0\rightarrow\beta=\frac{1}{k}\sum_{i=1}^k y_i$

β

$\beta$

y_{i}

$y_i$

chefwen
источник

3

Добавьте к ответу DW еще более практичный пример (также для функции потерь L2):

Представьте себе небольшую деревню из 4 домов, расположенных близко друг к другу (например, 10 метров). В 1 километре от них у вас есть еще один очень изолированный дом. Теперь вы приехали в этот город и хотите где-нибудь построить свой собственный дом. Вы хотите жить рядом с другими домами и дружить со всеми. Рассмотрим эти два альтернативных сценария:

Вы решаете оказаться в том месте, где среднее расстояние до любого дома является наименьшим (т.е. минимизируется функция потерь L1).
- Если вы разместите свой дом в центре деревни, вы будете в 10 метрах от 4 домов и в 1 км от одного дома, что дает вам среднее расстояние около 200 метров (10 + 10 + 10 + 10 + 1000). / 5).
- Если вы разместите свой дом в 500 метрах от деревни, вы будете в 500 метрах от 5 домов, что в среднем составляет 500 метров.
- Если вы разместите свой дом рядом с изолированным домом, вы будете в 1 км от деревни (4 дома) и примерно в 10 метрах от 1 дома, что дает вам среднее расстояние около 800 метров.
Таким образом, наименьшее среднее расстояние в 100 метров достигается при строительстве вашего дома в деревне. В частности, вы построите свой дом в середине этих 4 домов, чтобы получить еще несколько метров среднего расстояния. И оказывается, что эта точка является « срединной точкой », которую вы бы получили аналогичным образом, используя формулу медианы.
Вы решаете принять демократический подход. Вы спрашиваете каждого из пяти своих будущих соседей, какое место они предпочитают для вашего нового дома. Они все любят вас и хотят, чтобы вы жили рядом с ними. Таким образом, все они заявляют, что их предпочтительное местоположение должно быть местом рядом с их собственным домом. Вы берете среднее значение всех голосовавших ваших пяти соседей, и в результате получается «200 метров от деревни» (среднее количество голосов: 0 + 0 + 0 + 0 + 1000/5 = 200), то есть « средняя точка » из 5 домов, которую вы бы получили аналогичным образом, используя формулу среднего значения. И это местоположение оказывается точно таким же, что имитирует сумму квадратов расстояний (то есть функцию потерь L2). Давайте просто посчитаем, чтобы это увидеть:
- В этом месте сумма квадратов расстояний: 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 800 ^ 2 = 800 000
- Если мы построим дом в центре села, наша сумма квадратов расстояний будет: 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 1000 ^ 2 = 1 000 000
- Если мы построим дом в 100 метрах от деревни (как в 1), сумма квадратов расстояний составит: 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 900 ^ 2 = 850 000
- Если мы построим дом в 100 метрах от изолированного дома, сумма квадратов расстояний составит: 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 100 ^ 2 = 3 250 000

Так что да, интересно отметить, что, немного нелогично, когда мы минимизируем сумму расстояний, мы не оказываемся в «середине» в смысле среднего значения, но в смысле медиана. Это одна из причин, почему OLS, одна из самых популярных регрессионных моделей, использует квадратные ошибки, а не абсолютные ошибки.

Джонатан Циммерманн
источник

1

В дополнение к уже опубликованным ответам (которые были очень полезны для меня!), Существует геометрическое объяснение связи между нормой L2 и средним значением.

Чтобы использовать те же обозначения, что и chefwen , формула для потери L2:

L 2 знак равно \frac{1}{К} Σ_{я знак равно 1}^{К} (Y_{я} - β)^{2}

$L2 = \frac{1}{k} \sum^{k}_{i=1} (y_i - \beta)^2$

Мы хотим найти значение $\beta$ который сводит к минимуму $L2$ , Обратите внимание, что это эквивалентно минимизации следующего, так как умножение на $k$ и принимая квадратный корень, оба сохраняют порядок:

\sqrt{Σ_{я знак равно 1}^{К} (Y_{я} - β)^{2}}

$\sqrt { \sum^{k}_{i=1} (y_i - \beta)^2 }$

Если вы считаете вектор данных $y$ как точка в $k$ -мерное пространство, эта формула рассчитывает евклидово расстояние между точкой $y$ и точка $\vec{\beta} = (\beta, \beta, ..., \beta)$ ,

Таким образом, проблема заключается в том, чтобы найти значение $\beta$ что сводит к минимуму евклидово расстояние между точками $y$ а также $\vec{\beta}$ , Поскольку возможные значения $\vec{\beta}$ все лежат на линии, параллельной $\vec{1} = (1, 1, ..., 1)$ по определению это эквивалентно нахождению векторной проекции $y$ на $\vec{1}$ ,

Это действительно возможно визуализировать, только когда $k = 2$ , но вот пример, где $y = (2, 6)$ , Как показано, проецируя на $\vec{1}$ доходность $(4, 4)$ как мы ожидаем.

Чтобы показать, что эта проекция всегда дает среднее значение (в том числе, когда $k > 2$ ), мы можем применить формулу для проекции :

\begin{aligned} \vec{β} & знак равно {проектируемый}_{\vec{1}} Y \\ знак равно \frac{Y \cdot \vec{1}}{| \vec{1} |^{2}} \vec{1} \\ β & знак равно \frac{Σ_{я знак равно 1}^{К} Y_{я}}{К} \end{aligned}

$\begin{alignat}{2} \vec{\beta} &= \operatorname{proj}_{\vec{1}}{y} \\ &= \frac{y \cdot \vec{1}}{|\vec{1}|^2}\vec{1} \\ \beta &= \frac{\sum^k_{i=1} y_i}{k} \end{alignat}$

Павел
источник

Регрессия L1 оценивает медиану, тогда как регрессия L2 означает?

Ответы:

Потеря L1

L2 потеря