Вопросы с тегом «precision-recall»

12
Как рассчитать точность и вспомнить в матрице путаницы 3 x 3

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 Как я могу рассчитать точность и вспомнить, чтобы стало легко рассчитать F1-счет. Нормальная матрица путаницы - это размерность 2 x 2. Тем не менее, когда он становится 3 х 3, я не знаю, как рассчитать точность и...

12
Почему мы не используем взвешенное арифметическое среднее вместо гармонического среднего?

Интересно, какова внутренняя ценность использования среднего гармонического (например, для вычисления F-мер), в отличие от взвешенного арифметического среднего в сочетании точности и отзыва? Я думаю, что взвешенное среднее арифметическое может играть роль гармонического среднего, или я что-то...

12
Как уменьшить количество ложных срабатываний?

Я пытаюсь решить задачу, которая называется « Обнаружение пешеходов», и я тренирую двоичный класс по двум категориям: позитивные - люди, негативные - фон. У меня есть набор данных: количество позитивов = 3752 число отрицательных = 3800 Я использую train \ test split 80 \ 20% и форму scikit-learn...

12
Как сравнить два алгоритма ранжирования?

Я хочу сравнить два алгоритма ранжирования. В этих алгоритмах клиент указывает некоторые условия в своем поиске. В соответствии с требованиями клиента, этот алгоритм должен назначать оценку для каждого элемента в базе данных и извлекать элементы с наивысшими оценками. Я прочитал различные темы,...

12
Тест на значимость, основанный на точности / отзыв / F1

Можно ли провести тест значимости, основанный исключительно на показателях точности / отзыва / F1? Например, если вы столкнулись с двумя системами в документе, для которых сообщается только P / R / F1 (в одном наборе данных и т. Д.), Можете ли вы затем выполнить тест статистической значимости? Если...

12
Как сформировать кривую Precision-Recall, когда у меня есть только одно значение для PR?

У меня есть задание по извлечению данных, где я создаю систему поиска изображений на основе контента. У меня 20 изображений 5 животных. Итак, всего 100 изображений. Моя система возвращает 10 наиболее релевантных изображений для входного изображения. Теперь мне нужно оценить производительность моей...

11
Классификатор с регулируемой точностью и отзывом

Я работаю над проблемой бинарной классификации, где гораздо важнее не иметь ложных срабатываний; довольно много ложных негативов в порядке. Например, я использовал несколько классификаторов в sklearn, но я думаю, что ни один из них не имеет возможности явно регулировать компромисс между точностью и...

11
Усреднение точности и отзыв при использовании перекрестной проверки

Я выполнил классификацию с использованием нескольких классификаторов для данных, помеченных для двух классов, и использовал пятикратную перекрестную проверку. Для каждого сгиба я вычислял tp, tn, fp и fn. Затем я рассчитал точность, точность, отзыв и F-показатель для каждого теста. Мой вопрос...

11
Что такое хороший AUC для кривой точного возврата?

Поскольку у меня очень несбалансированный набор данных (9% положительных результатов), я решил, что кривая точного отзыва была более подходящей, чем кривая ROC. Я получил аналогичную сводную меру площади под кривой PR (.49, если вам интересно), но не уверен, как ее интерпретировать. Я слышал, что...

11
Как выбрать хорошую рабочую точку из точных кривых отзыва?

Существует ли какой-либо стандартный метод определения «оптимальной» рабочей точки на кривой точного возврата ? (то есть, определение точки на кривой, которая предлагает хороший компромисс между точностью и отзывом)...

10
Почему бета-оценка определяет бета как это?

Это бета-оценка F: Fβ= ( 1 + β2) ⋅ р г е с я с я о п ⋅ г е с л л( β2⋅ р т е с я с я о п ) + г е грл лFβзнак равно(1+β2)⋅пресяsяоN⋅ресaLL(β2⋅пресяsяоN)+ресaLLF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} В статье...

10
Интерпретация площади под кривой PR

В настоящее время я сравниваю три метода, и в качестве метрик я использую точность, auROC и auPR. И у меня есть следующие результаты: Метод А - согласно: 0,75, auROC: 0,75, AuPR: 0,45 Метод B - согласно: 0,65, auROC: 0,55, AuPR: 0,40 Метод C - согласно: 0,55, auROC: 0,70, AuPR: 0,65 У меня хорошее...

9
порог классификации в RandomForest-sklearn

1) Как я могу изменить порог классификации (я думаю, он равен 0,5 по умолчанию) в RandomForest в sklearn? 2) как я могу пробовать в sklearn? 3) У меня есть следующий результат из классификатора RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932...