Вопросы с тегом «accuracy»

Точность оценки - это степень близости оценок к истинному значению. Для классификатора точность - это пропорция правильных классификаций. (Это второе использование не является хорошей практикой. См. Тег вики для ссылки на дополнительную информацию.)

107
Почему точность не является наилучшей мерой для оценки моделей классификации?

Это общий вопрос, который косвенно задавался здесь несколько раз, но в нем нет ни одного авторитетного ответа. Было бы здорово иметь подробный ответ на этот вопрос для справки. Точность , доля правильных классификаций среди всех классификаций, является очень простой и очень «интуитивно понятной»...

50
Как лучше всего запомнить разницу между чувствительностью, специфичностью, точностью, точностью и отзывом?

Несмотря на то, что я видел эти термины 502847894789 раз, я на всю жизнь не могу вспомнить разницу между чувствительностью, специфичностью, точностью, точностью и отзывчивостью. Это довольно простые понятия, но имена для меня совершенно не интуитивны, поэтому я постоянно путаю их друг с другом. Что...

43
Обучение дерева решений против несбалансированных данных

Я новичок в области интеллектуального анализа данных и пытаюсь настроить дерево решений на основе набора данных, который сильно разбалансирован. Однако у меня проблемы с плохой точностью прогнозирования. Данные состоят из студентов, изучающих курсы, а переменная класса - это статус курса, который...

29
Каковы недостатки средней абсолютной ошибки в процентах (MAPE)?

Процент ошибки Среднего Absolute ( Мапэ ) является общей точностью или мера ошибки для временных рядов или других предсказаний, MAPE = 100NΣт = 1N| T- FT|AT% ,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, где - фактические данные, а соответствующие...

25
Является ли модернизированная модель обязательно бесполезной?

Предположим, что модель имеет 100% точность данных тренировки, но 70% точность данных теста. Правдив ли следующий аргумент в отношении этой модели? Очевидно, что это переоборудованная модель. Точность испытания может быть повышена за счет уменьшения переоснащения. Но эта модель все еще может быть...

24
F1 / Dice-Score против IoU

Я был озадачен различием между показателем F1, значением Dice и IoU (пересечение по объединению). К настоящему времени я обнаружил, что F1 и Dice означают одно и то же (верно?), И у IoU есть формула, очень похожая на две другие. F1 / Dice: 2TP2TP+FP+FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU /...

22
Интерпретация средней абсолютной масштабированной ошибки (MASE)

Средняя абсолютная масштабированная ошибка (MASE) является мерой точности прогноза, предложенной Koehler & Hyndman (2006) . MA SЕ= МА ЕMА Ея п - ев м р л е ,н а я в еMASЕзнак равноMAЕMAЕяN-saмпLе,NaяvеMASE=\frac{MAE}{MAE_{in-sample, \, naive}} где - средняя абсолютная ошибка, произведенная...

19
Как мы можем судить о точности предсказаний Нейта Сильвера?

Во-первых, он дает вероятность результатов. Так, например, его прогнозы на выборах в США в настоящее время составляют 82% Клинтона против 18% Трампа. Теперь, даже если Трамп выиграет, как я узнаю, что выиграть должен был не только 18% времени? Другая проблема заключается в том, что его вероятности...

18
Как сообщается матрица путаницы из K-кратной перекрестной проверки?

Предположим, я делаю перекрестную проверку в K-кратном порядке с K = 10-кратным. Там будет одна матрица путаницы для каждого сгиба. Когда я сообщаю о результатах, я должен вычислить, какова средняя матрица путаницы, или просто суммировать матрицы...

16
Точность против площади под кривой ROC

Я построил кривую ROC для диагностической системы. Площадь под кривой была непараметрически оценена как AUC = 0,89. Когда я попытался вычислить точность при оптимальной настройке порога (точка, ближайшая к точке (0, 1)), я получил точность диагностической системы равной 0,8, что меньше, чем AUC!...

15
Если «Стандартная ошибка» и «Доверительные интервалы» измеряют точность измерения, то каковы измерения точности?

В книге «Биостатистика для чайников» на странице 40 я читаю: Стандартная ошибка (сокращенно SE) - это один из способов указать, насколько точна ваша оценка или измерение чего-либо. и Доверительные интервалы предоставляют еще один способ указать точность оценки или измерения чего-либо. Но там ничего...

15
Хорошая точность, несмотря на высокое значение потерь

Во время обучения простого нейронного бинарного классификатора я получаю высокую величину потерь, используя кросс-энтропию. Несмотря на это, значение точности на проверочном наборе остается достаточно хорошим. Это имеет какое-то значение? Нет строгой корреляции между потерей и точностью? У меня на...

14
Точность = 1- частота ошибок теста

Извиняюсь, если это очень очевидный вопрос, но я читал различные посты и не могу найти хорошее подтверждение. В случае классификации, точность классификатора = 1- частота ошибок теста ? Я получаю, что точность составляет , но мой вопрос, как именно связаны точность и частота ошибок тестирования....

14
Каковы различия между AUC и F1-счетом?

F1-оценка является гармоническим средним значением точности и отзыва. Ось у отзыва - это истинно положительный показатель (который также вызывается). Итак, иногда классификаторы могут иметь низкий уровень отзыва, но очень высокий AUC, что это значит? Каковы различия между AUC и...

13
Является ли точность неправильным правилом оценки в бинарной классификации?

Недавно я узнал о правильных правилах оценки вероятностных классификаторов. Несколько потоков на этом сайте подчеркивали, что точность является неправильным правилом оценки и не должна использоваться для оценки качества прогнозов, генерируемых вероятностной моделью, такой как логистическая...

12
Насколько хороша моя модель, основанная на значении диагностической метрики (

Я установил свою модель и пытаюсь понять, хороша ли она. Я рассчитал рекомендуемые показатели для его оценки ( / AUC / точность / ошибка прогнозирования / и т. Д.), Но не знаю, как их интерпретировать. Короче говоря, как мне определить, хороша ли моя модель по метрике? Достаточно ли 0,6 (например),...

11
Является ли f-мера синонимом точности?

Я понимаю, что f-мера (основанная на точности и отзыве) - это оценка точности классификатора. Кроме того, f-мера предпочтительнее точности, когда у нас есть несбалансированный набор данных. У меня есть простой вопрос (который больше об использовании правильной терминологии, чем о технологии). У...

11
Система голосования, которая использует точность каждого избирателя и связанную с этим неопределенность

Допустим, у нас есть простой вопрос «да / нет», на который мы хотим знать ответ. И есть N людей, «голосующих» за правильный ответ. У каждого избирателя есть история - список 1 и 0, показывающий, были ли они правы или нет в отношении таких вопросов в прошлом. Если мы примем историю в качестве...