0-1 Объяснение функции потери

19

Я пытаюсь понять, что является целью функции потери, и я не совсем понимаю ее.

Итак, насколько я понимаю, функция потерь предназначена для введения некоторой метрики, с помощью которой мы можем измерить «стоимость» неправильного решения.

Допустим, у меня есть набор данных из 30 объектов, я разделил их на наборы обучения / тестирования, например, 20/10. Я буду использовать функцию потерь 0-1, поэтому допустим, что мой набор меток классов равен M, а функция выглядит следующим образом. :

L(i,j)={0i=j1iji,jM

Итак, я построил некоторую модель на моих тренировочных данных, скажем, я использую наивный байесовский классификатор, и эта модель правильно классифицировала 7 объектов (присвоили им правильные метки классов), а 3 объекта были классифицированы неправильно.

Таким образом, моя функция потерь будет возвращать «0» 7 раз и «1» 3 раза - какую информацию я могу получить от этого? Что моя модель неправильно классифицировала 30% объектов? Или есть что-то еще?

Если в моем мышлении есть какие-то ошибки, мне очень жаль, я просто пытаюсь учиться. Если приведенный мной пример «слишком абстрактен», дайте мне знать, я постараюсь быть более конкретным. Если вы попытаетесь объяснить концепцию на другом примере, используйте функцию потери 0-1.

Джонни Йоханссон
источник

Ответы:

14

Вы правильно суммировали функцию потерь 0-1 как эффективный взгляд на точность. Ваши 1 стали индикаторами для неправильно классифицированных предметов, независимо от того, как они были классифицированы неправильно. Поскольку у вас есть три 1 из 10 предметов, ваша точность классификации составляет 70%.

Если вы измените вес в функции потерь, эта интерпретация больше не применяется. Например, при классификации заболеваний может быть более затратно пропустить положительный случай заболевания (ложно отрицательный), чем ложно диагностировать заболевание (ложноположительный). В этом случае ваша функция потерь будет более сильно взвешивать ложноотрицательную ошибочную классификацию. Сумма ваших потерь больше не будет представлять точность в этом случае, а скорее "стоимость" неправильной классификации. Функция потерь 0-1 уникальна в своей эквивалентности точности, поскольку все, что вас волнует, это правильно ли вы поняли или нет, а не то, как сделаны ошибки.

Ядерный Ван
источник
@JohnnyJohansson, это определение точности в статистике, см. En.wikipedia.org/wiki/Sensitivity_and_specificity
Тим
@Tim - меня все еще смущает функция потерь 0-1 - может ли полученная матрица иметь какие-либо значения больше 1, то есть, если есть 3 классификации ошибок, мы увидим значение 3 в соответствующей записи? см. здесь math.stackexchange.com/questions/2623072/…
Ксавье Бурре Сикот
2

Да, это в основном так: вы считаете количество ошибочно классифицированных предметов. За этим больше ничего нет, это очень простая функция потерь. Далее потеря 0-1 приводит к оценке режима распределения цели (по сравнению с потерей для оценки медианы и потерей L 2 для оценки среднего значения).L1L2

Тим
источник
0

Я думаю, что ваша путаница не дифференцирует потерю для одной точки данных и потерю для всего набора данных.

L(y,y^)

iL(yi,y^i)
Haitao Du
источник
Я на самом деле получаю разницу, но мне трудно понять, что мне понадобится эта потеря для одной точки данных, кроме расчета потерь для всего набора данных? И что я должен учитывать при выборе адекватной функции потерь для какой-то конкретной проблемы?
Джонни Йоханссон