В чем разница между функцией потерь и функцией ошибок?

Является ли термин «потеря» синонимом «ошибка»? Есть ли разница в определении?

Кроме того, каково происхождение термина "потеря"?

NB: упомянутую здесь функцию ошибки не следует путать с обычной ошибкой.

В контексте прогнозирующей или логической модели термин «ошибка» обычно относится к отклонению от фактического значения от прогноза или ожидания этого значения. Он полностью определяется механизмом прогнозирования и фактическим поведением наблюдаемых величин. «Потеря» - это количественная оценка того, насколько плохо получить ошибку определенного размера / направления, на которую влияют негативные последствия, возникающие из-за неточного прогноза.

Функция ошибки измеряет отклонение наблюдаемого значения от прогноза, в то время как функция потерь воздействует на ошибку, чтобы количественно оценить отрицательное последствие ошибки. Например, в некоторых контекстах может быть разумным утверждать, что существует квадратичная потеря ошибок , где отрицательное последствие ошибки количественно определяется как пропорциональное квадрату ошибки. В других контекстах мы могли бы быть более негативно затронуты ошибкой в ​​определенном направлении (например, ложное положительное значение по сравнению с ложным отрицательным), и поэтому мы могли бы принять несимметричную функцию потерь.

Функция ошибки - это чисто статистический объект, тогда как функция потерь - это теоретико-решающий объект, который мы вводим для количественной оценки негативных последствий ошибки. Последний используется в теории принятия решений и в экономике (обычно через свою противоположность - кардинальную функцию полезности).

Пример: вы преступник-рэкетир, управляющий нелегальным пари на Mob. Каждую неделю вы должны выплачивать 50% прибыли боссу Мобов, но, поскольку вы управляете этим местом, босс полагается на вас, чтобы дать вам достоверный отчет о прибыли. Если у вас будет хорошая неделя, вы сможете вытащить его из теста, недопредставив свою прибыль, но если вы недоплатите боссу, то, по его мнению, является реальной прибылью, вы мертвы. Таким образом, вы хотите предсказать, сколько он ожидает получить, и платить соответственно. В идеале вы дадите ему именно то, что он ожидает, и оставите все остальное, но вы могли бы сделать ошибку предсказания и заплатить ему слишком много или (да!) Слишком мало.

У вас хорошая неделя и вы зарабатываете прибыли, поэтому босс должен . Он не знает, какая у вас была хорошая неделя, поэтому его истинное ожидание его доли составляет всего лишь (неизвестно вам). Вы решаете заплатить ему . Тогда ваша функция ошибок:$\pi = \$40,000$$\tfrac{1}{2} \pi = \$20,000$$\theta = \$15,000$$\hat{\theta}$

и (если мы предположим, что потери в деньгах линейны), ваша функция потерь:

Это пример асимметричной функции потерь (решение обсуждается в комментариях ниже), которая существенно отличается от функции ошибки. Асимметричный характер функции потерь в этом случае подчеркивает катастрофический исход в случае недооценки неизвестного параметра.