Вопросы с тегом «auc»

Искал высоко и низко и не смог выяснить, что AUC, как в отношении прогноза, означает или

Меня интересует вычисление площади под кривой (AUC) или c-статистика вручную для бинарной модели логистической регрессии. Например, в наборе данных проверки у меня есть истинное значение для зависимой переменной, сохранение (1 = сохранено; 0 = не сохранено), а также прогнозируемое состояние...

Информационный критерий Акаике (AIC) и c-статистика (площадь под кривой ROC) являются двумя показателями модели, пригодными для логистической регрессии. У меня возникают проблемы с объяснением того, что происходит, когда результаты двух измерений не совпадают. Я предполагаю, что они измеряют...

У меня есть два классификатора A: наивная байесовская сеть B: древовидная (односвязная) байесовская сеть С точки зрения точности и других показателей, A работает сравнительно хуже, чем B. Однако, когда я использую пакеты R ROCR и AUC для выполнения анализа ROC, оказывается, что AUC для A выше, чем...

Является ли средняя точность (AP) областью под кривой точного восстановления (AUC PR-кривой)? РЕДАКТИРОВАТЬ: Вот некоторые комментарии о разнице в PR AUC и AP. AUC получается путем трапецеидальной интерполяции точности. Альтернативным и обычно почти эквивалентным показателем является Средняя...

В обсуждении: как создать кривую roc для бинарной классификации , я думаю, что путаница заключалась в том, что «двоичный классификатор» (который является любым классификатором, разделяющим 2 класса) был для Янга так называемым «дискретным классификатором» (который производит дискретные выходы 0/1...

На рисунке ниже показана непрерывная кривая ложноположительных показателей по сравнению с истинно положительными показателями: Однако я не сразу понимаю, как рассчитываются эти ставки. Если метод применяется к набору данных, он имеет определенную скорость FP и определенную скорость FN. Не означает...

преамбула Это длинный пост. Если вы перечитываете это, обратите внимание, что я пересмотрел часть вопроса, хотя исходные материалы остались прежними. Кроме того, я считаю, что разработал решение проблемы. Это решение появляется в нижней части поста. Спасибо CliffAB за то, что он указал, что мое...

Я использую классификатор, который возвращает вероятности. Для расчета AUC я использую pROC R-пакет. Вероятности выхода из классификатора: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsпоказывает вероятность быть в классе...

Я построил кривую ROC для диагностической системы. Площадь под кривой была непараметрически оценена как AUC = 0,89. Когда я попытался вычислить точность при оптимальной настройке порога (точка, ближайшая к точке (0, 1)), я получил точность диагностической системы равной 0,8, что меньше, чем AUC!...

У меня есть некоторые сомнения по поводу того, какую меру эффективности использовать: область под кривой ROC (TPR как функция FPR) или область под кривой точности-отзыва (точность как функция отзыва). Мои данные несбалансированы, то есть количество отрицательных экземпляров намного больше, чем...

Могут ли значения AUC-ROC находиться в диапазоне 0-0,5? Модель когда-нибудь выводит значения между 0 и

Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R. Используя небольшой набор данных для поступления в колледж, я запустил следующий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create...

Я пытаюсь использовать функцию плотности в R для оценки плотности ядра. У меня возникли некоторые трудности при интерпретации результатов и сравнении различных наборов данных, так как кажется, что площадь под кривой не обязательно равна 1. Для любой функции плотности вероятности (pdf) нам нужно...

Я обучил две модели (двоичные классификаторы с использованием h2o AutoML) и хочу выбрать одну для использования. У меня есть следующие результаты: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2...

Почему область под кривой ROC является вероятностью того, что классификатор оценит случайно выбранный «положительный» экземпляр (из полученных предсказаний) выше, чем случайно выбранный «положительный» (из исходного положительного класса)? Как можно доказать это утверждение математически, используя...

F1-оценка является гармоническим средним значением точности и отзыва. Ось у отзыва - это истинно положительный показатель (который также вызывается). Итак, иногда классификаторы могут иметь низкий уровень отзыва, но очень высокий AUC, что это значит? Каковы различия между AUC и...

У меня есть тестовый набор из 100 случаев и два классификатора. Я генерировал прогнозы и вычислял ROC AUC, чувствительность и специфичность для обоих классификаторов. Вопрос 1: Как я могу вычислить значение p, чтобы проверить, является ли одно значительно лучше другого по всем показателям (ROC AUC,...

Конкурс Kaggle в прогнозировании безопасного водителя Порто Сегуро использует нормализованную оценку Джини в качестве метрики оценки, и мне стало любопытно узнать причины такого выбора. Каковы преимущества использования нормализованной оценки Джини вместо наиболее обычных показателей, таких как...

В машинном обучении мы можем использовать область под кривой ROC (часто сокращенно AUC или AUROC), чтобы суммировать, насколько хорошо система может различать две категории. В теории обнаружения сигналов часто (индекс чувствительности) используется для аналогичной цели. Эти два тесно связаны, и я...