Интуитивное объяснение логов

10

В нескольких соревнованиях по догонялкам оценка была основана на «логове». Это относится к ошибке классификации.

Вот технический ответ, но я ищу интуитивный ответ. Мне очень понравились ответы на этот вопрос о расстоянии Махаланобиса, но PCA не логи.

Я могу использовать значение, которое выдает мое классификационное программное обеспечение, но я его не совсем понимаю. Почему мы используем его вместо истинных / ложных положительных / отрицательных показателей? Можете ли вы помочь мне, чтобы я мог объяснить это моей бабушке или новичку в этой области?

Мне тоже нравится и согласен с цитатой:

вы что-то не понимаете, если не можете объяснить это своей бабушке
- Альберту Эйнштейну

Я попытался ответить на это самостоятельно, прежде чем писать здесь.

Ссылки, которые я не нашел интуитивно понятными или действительно полезными, включают:

Это информативно и точно. Они предназначены для технической аудитории. Они не рисуют простую картинку или приводят простые и доступные примеры. Они написаны не для моей бабушки.

EngrStudent
источник
Вы не
указали
1
quora.com/…
М. Кермани,
@ EhsanM.Kermani - Я не нашел таких интуитивных, как у Махаланобисов, на которых я ссылался.
EngrStudent
1
запись на сайте kaggle дает довольно краткое объяснение logloss
bdeonovic
Нашел эту ссылку: exegetic.biz/blog/2015/12/making-sense-logarithmic-loss . Может помочь.
Deolu A

Ответы:

8

Логлосс - это логарифм произведения всех вероятностей. Предположим, Алиса предсказала:

  • с вероятностью 0.2 Джон убьет Джека
  • с вероятностью 0,001 Мэри выйдет замуж за Джона
  • с вероятностью 0,01 Билл - убийца.

Оказалось, что Мэри не вышла замуж за Джона, Билл не убийца, но Джон убил Джека. Произведение вероятностей, по словам Алисы, составляет 0,2 * 0,999 * 0,99 = 0,197802.

Боб предсказал:

  • с вероятностью 0,5, Джон убьет Джека
  • с вероятностью 0,5 Мэри выйдет замуж за Джона
  • с вероятностью 0,5, Билл - убийца.

Продукт составляет 0,5 * 0,5 * 0,5 = 0,125.

Алиса - лучший предсказатель, чем Боб.

user31264
источник
почему «произведение всех вероятностей» работает? Это звучит как родственник ожидания максимизации.
EngrStudent
3
Вам нужно официальное доказательство? Это в "техническом ответе", упомянутом автором темы. Вам нужна неформальная "бабушкин" причина, почему? Вы говорите: предположим, этот парень дал правильные прогнозы. Какова вероятность того, что все произойдет так, как это произошло на самом деле? Это произведение вероятностей.
user31264
«продукт вероятностей» не является «бабушкой». log произведения вероятностей - это сумма log-вероятностей, которую они используют при максимизации ожидания и называют «ожиданием». Я думаю, что это также закодировано в дивергенции KL. ... Я думаю, что в разговоре о бабушке вы могли бы сказать "" наиболее вероятно "= наивысшая общая вероятность нескольких событий. Есть два варианта" наибольший ": 1) максимизировать объединенную вероятность или 2) минимизировать отрицательную объединенную вероятность. Большинство машин обучению нравится «градиентный спуск» или минимизация вредности. Потеря журнала - это отрицательная вероятность, масштабируемая по размеру выборки, и она сводится к минимуму.
EngrStudent
Здесь ссылка говорит: «exp (-loss) - средняя вероятность правильного прогноза».
EngrStudent
Мне понравился епископ реф здесь . Это уравнение 4.108 и является функцией кросс-энтропийной ошибки.
EngrStudent