Как называется этот график, показывающий ложные и истинные положительные показатели и как он генерируется?

22

На рисунке ниже показана непрерывная кривая ложноположительных показателей по сравнению с истинно положительными показателями:

введите описание изображения здесь

Однако я не сразу понимаю, как рассчитываются эти ставки. Если метод применяется к набору данных, он имеет определенную скорость FP и определенную скорость FN. Не означает ли это, что каждый метод должен иметь одну точку, а не кривую? Конечно, есть несколько способов настройки метода, производящих несколько разных точек, но мне не ясно, как существует этот континуум скоростей или как он генерируется.

Axoren
источник
2
Мне было бы интересно, откуда это взялось. Кажется, он утверждает, что Baidu на 100% совершенен (и лучше, чем люди) в идентификации / распознавании лиц. Либо это, либо он использует результаты Baidu как основную правду, а не человеческую категоризацию, что также действительно странно.
Стоп Harm Monica
Хорошо, они смешали результаты разных экспериментов и неправильно округлили свои исходные данные. Baidu должно быть 0,9977 ± 0,0006
прекратить Harming Monica
2
Кстати, вы пропустили, что ваш источник получил ответ: «Смотрите Википедию для более подробной информации о чтении кривой ROC».
Стоп Harm Моника
2
@OrangeDog 0,9977 ± 0,0006 - это точность Baidu со страницы результатов LFW , а не AUC. Это сбивает с толку, потому что страница результатов LFW не имеет заголовка для столбца, из которого это. Тем не менее, их статья v4 arxiv представляет это число как точность. Я рассчитал AUC по их кривой в этой функции . Даже при том, что AUC 1.000 сбивает с толку, я считаю, что моя техника действительна.
Брэндон Амос

Ответы:

27

График представляет собой кривую ROC, и точки (False Positive Rate, True Positive Rate) рассчитываются для различных пороговых значений. Предполагая, что у вас есть равномерная функция полезности, оптимальным пороговым значением является значение для точки, ближайшей к (0, 1).

Morten
источник
Таким образом, этот тип кривой требует, чтобы метод имел расслабляющий пороговый параметр?
Аксорен
2
Да, но порогом могут быть многие вещи, например, логарифмическая вероятность для обученной модели с учетом тестовых данных или расстояние до разделяющей гиперплоскости для SVM.
Мортен
1
Например, диагональная линия представляет собой алгоритм случайного угадывания; параметр будет "с какой вероятностью мы будем угадывать ИСТИНА?"
Стоп Harm Monica
21

Для создания кривых ROC (= кривых рабочих характеристик приемника):

Предположим, у нас есть вероятностный двоичный классификатор, такой как логистическая регрессия. Прежде чем представить кривую ROC, необходимо понять концепцию матрицы смешения . Когда мы делаем бинарный прогноз, может быть 4 типа ошибок:

  • Мы предсказываем 0, в то время как у нас должен быть класс, фактически равный 0: это называется Истинным Отрицательным , то есть мы правильно предсказываем, что класс отрицательный (0). Например, антивирус не обнаружил безвредный файл как вирус.
  • Мы предсказываем 0, в то время как у нас должен быть класс, фактически равный 1: это называется ложным отрицанием , то есть мы неправильно предсказываем, что класс отрицательный (0). Например, антивирус не смог обнаружить вирус.
  • Мы предсказываем 1, в то время как у нас должен быть класс, фактически равный 0: это называется False Positive , то есть мы неправильно предсказываем, что класс положительный (1). Например, антивирус рассматривал безвредный файл как вирус.
  • Мы предсказываем 1, в то время как у нас должен быть класс, фактически равный 1: это называется True Positive , т.е. мы правильно предсказываем, что класс положительный (1). Например, антивирус по праву обнаружил вирус.

Чтобы получить матрицу путаницы, мы просматриваем все прогнозы, сделанные моделью, и подсчитываем, сколько раз встречается каждый из этих 4 типов ошибок:

введите описание изображения здесь

В этом примере матрицы путаницы среди 50 классифицированных точек данных 45 классифицированы правильно, а 5 неправильно классифицированы.

Поскольку для сравнения двух разных моделей зачастую удобнее иметь одну метрику, чем несколько, мы вычисляем две метрики из матрицы путаницы, которую мы позже объединяем в одну:

  • TпTп+FN
  • FпFп+TN

0,00;0,01,0.02,...,1,00

введите описание изображения здесь

На этом рисунке синяя область соответствует области под кривой рабочей характеристики приемника (AUROC). Пунктирной линией на диагонали мы представляем ROC-кривую случайного предиктора: она имеет AUROC 0,5. Случайный предиктор обычно используется в качестве базовой линии, чтобы увидеть, полезна ли модель.

Если вы хотите получить опыт из первых рук:

Франк Дернонкур
источник
9

Ответ Мортена правильно отвечает на вопрос в заголовке - фигура действительно является кривой ROC. Это получается путем построения последовательности ложноположительных показателей (FPR) против соответствующих им истинно положительных показателей.

Тем не менее, я хотел бы ответить на вопрос, который вы задаете в теле своего поста.

Если метод применяется к набору данных, он имеет определенную скорость FP и определенную скорость FN. Не означает ли это, что каждый метод должен иметь одну точку, а не кривую? Конечно, есть несколько способов настройки метода, производящих несколько разных точек, но мне не ясно, как существует этот континуум скоростей или как он генерируется.

Многие методы машинного обучения имеют настраиваемые параметры. Например, результатом логистической регрессии является прогнозируемая вероятность членства в классе. Правило принятия решения для классификации всех точек с предсказанными вероятностями выше некоторого порога для одного класса, а остальные - для другого, может создать гибкий диапазон классификаторов, каждый из которых имеет различную статистику TPR и FPR. То же самое можно сделать в случае случайного леса, где учитываются голоса деревьев, или SVM, где вы рассматриваете расстояние со знаком от гиперплоскости.

В случае, когда вы выполняете перекрестную проверку для оценки производительности вне выборки, типичной практикой является использование значений прогноза (голосов, вероятностей, расстояний со знаком) для генерации последовательности TPR и FPR. Это обычно выглядит как пошаговая функция, потому что обычно существует только одна точка, перемещающаяся из TP в FN или FP в FN, для каждого прогнозируемого значения (т.е. все прогнозируемые значения вне выборки являются уникальными). В этом случае, хотя существует целый ряд вариантов для вычисления TPR и FPR, функции TPR и FPR не будут непрерывными, поскольку имеется только конечное число точек вне выборки, поэтому результирующие кривые будут иметь ступенчатый вид ,

Sycorax говорит восстановить Монику
источник
0

Из Википедии:

Кривая ROC была впервые разработана инженерами-электриками и радиолокационными системами во время Второй мировой войны для обнаружения объектов противника на полях сражений и вскоре была представлена ​​психологии для учета восприятия стимулов восприятия. ROC-анализ с тех пор использовался в медицине, радиологии, биометрии и других областях на протяжении многих десятилетий и все чаще используется в исследованиях в области машинного обучения и интеллектуального анализа данных.

ROC также известна как кривая относительных рабочих характеристик, поскольку она представляет собой сравнение двух рабочих характеристик (TPR и FPR) при изменении критерия.

Вы можете думать о двух осях как о затратах, которые должны быть понесены для работы двоичного классификатора. В идеале вы хотите получить как можно меньше ложных срабатываний, насколько это возможно. То есть вы хотите, чтобы двоичный классификатор вызывал как можно меньше ложных срабатываний для максимально возможного количества истинных положительных результатов.

Чтобы конкретизировать, представьте классификатор, который может определить наличие определенного заболевания путем измерения количества какого-либо биомаркера. Представьте, что биомаркер имел значение в диапазоне от 0 (отсутствует) до 1 (насыщенный). Какой уровень максимизирует выявление заболевания? Это может быть случай, когда выше некоторого уровня биомаркер классифицирует некоторых людей как имеющих болезнь, но у них нет болезни. Это ложные срабатывания. Тогда, конечно, есть те, кто будет классифицирован как имеющий болезнь, когда у них действительно есть болезнь. Это настоящие плюсы.

РПЦ оценивает долю истинных положительных результатов среди всех положительных результатов в сравнении с долей ложных положительных результатов с учетом всех возможных пороговых значений.

поляризовать
источник