Комплексный обзор функций потерь?

Я пытаюсь получить глобальный взгляд на некоторые основные идеи в машинном обучении, и мне было интересно, существует ли комплексный подход к различным понятиям потери (квадрат, лог, шарнир, прокси и т. Д.). Я думал о чем-то вроде более полной, формальной презентации превосходного поста Джона Лэнгфорда о семантике функции потери .

Учебник по энергетике на основе обучения по LeCun и др. может получить вам хорошую часть пути туда. Они описывают ряд функций потерь и обсуждают, что делает их «хорошими или плохими» для моделей, основанных на энергии.

Ну, есть это и что . Два документа Крамера и другие обсуждают потери в контексте алгоритмов онлайн-обучения.

Функция потерь задается задачей. Это может быть что угодно. Например, вы также можете оштрафовать используемое время и пространство процессора.

В обучении с подкреплением функция потерь является неизвестной недетерминированной функцией. Вы не можете переопределить его без изменения проблемы.

Я знаю, что этот вопрос устарел, но в данный момент он мне интересен.

Очень хорошая статья на тему выпуклых функций потерь и согласованности классификатора - Тонг Чжан « Статистическое поведение и согласованность методов классификации, основанных на минимизации выпуклых рисков ».