Что такое потеря веса?

Я начинаю с глубокого изучения, и у меня есть вопрос, ответ на который я не смог найти, возможно, я не искал должным образом. Я видел этот ответ , но до сих пор не ясно, что такое потеря веса и как она связана с функцией потери.

Снижение веса указывает на регуляризацию в нейронной сети.

Во время обучения к потерям сети добавляется условие регуляризации для вычисления градиента обратного распространения. weight decayЗначение определяет , как этот термин доминирует регуляризация будет в вычислении градиента.

Как правило, чем больше у вас учебных примеров, тем слабее должен быть этот термин. Чем больше у вас параметров, тем выше должен быть этот термин.

Таким образом, снижение веса - это термин регуляризации, который штрафует большие веса. Когда коэффициент затухания веса велик, штраф за большие веса также велик, когда он мал, веса могут свободно расти.

Итак, теперь, если вы вернетесь к чтению ответа, который вы указали в своем вопросе, это будет иметь смысл сейчас.