Каково значение двойных столбцов и 2 внизу в обычных наименьших квадратах?

10

Я видел это обозначение для обычных наименьших квадратов здесь .

minwXwy22

Я никогда не видел двойных баров и 2 внизу. Что означают эти символы? У них есть определенная терминология для них?

Aseem Bansal
источник
5
Использование двойных баров просто указывает на то, что мы используем норму L2.
Михаил Р. Черник
@MichaelChernick и 2? Это часть "нормы L2"?
Aseem Bansal
1
Да, как и L2, есть и L1.
Джон
Я думаю, что Xw должен быть Xw так как w является вектором
ilanman
@ilanman Да, это то, что было в записи до редактирования. Я изменил это назад
Aseem Bansal

Ответы:

29

Вы говорите о норме (евклидовой норме) вектора ( ). Если это чуждо вам, вкратце, то -норме вектора , является: х ш - у л р у R п2XwypuRn

up=(i=1n|ui|p)1p

Так что в вашем случае что соответствует сумме квадратов невязок для линейной регрессии. В контексте проблем регрессии вы также увидите это в вычислениях среднего квадрата ошибки (MSE) и в регрессии гребня .u22=((i=1n|ui|2)12)2=i=1nui2

Это обычная норма (среди прочих причин, это математически удобно), поэтому, когда это очевидно из контекста, вы увидите, что нижние опущены и просто .| | U | | 22u2

Как уже упоминалось в комментариях, вы также можете увидеть :1

u1=i=1n|ui|

Что соответствует абсолютному значению. Опять же, вы увидите это в средних абсолютных ошибках (MAE) или проблемах лассо .

Другие популярные нормы:

  • 10 : расстояние Хэмминга или число ненулевых элементов в векторе, т.е. при расчете разреженности вектора. Технически это не норма (это кардинальная функция), потому что в определении есть термин , но он имеет форму нормы, поэтому мы называем ее единицей. 10
    • Эта норма является идеальной нормой, используемой при создании разреженности для задач регрессии, поскольку мы действительно хотим обнулить коэффициенты, однако вычисление регуляризации является NP-трудным, поэтому вместо этого мы приближаем ее с который разрешим в линейном программировании. Он также популярен в Compressed Sensing .101
  • макс я { | х я | } Я = 1 , . , , , н -norm: = дляmaxi {|xi|}i=1,...,n
  • A R n × m = AF : норма Фробениуса (евклидова), примененная к матрицеARn×m=i=1nj=1m|aij|2
ilanman
источник
2
Ссылка на вольфрам альфа была действительно полезной.
Aseem Bansal
Вы пишете , что (псевдо) подсчитывает норма число нулей в вектор-вы , возможно , имели в виду количество не -нуль записей? (Это будет более соответствовать тому, что я видел, а также будет означать, что u 0 будет расстоянием Хэмминга между u и 0 R n , а не будет n минус это расстояние.)0u0u0Rnn
wchargin
1
Орфографическая ошибка: «Фробениус».
Хоббс
1
Вместо «это обычная норма» я бы просто сказал: «L2 - это норма»;)
user541686