У меня есть некоторые сомнения по поводу того, какую меру эффективности использовать: область под кривой ROC (TPR как функция FPR) или область под кривой точности-отзыва (точность как функция отзыва). Мои данные несбалансированы, то есть количество отрицательных экземпляров намного больше, чем...
Могут ли значения AUC-ROC находиться в диапазоне 0-0,5? Модель когда-нибудь выводит значения между 0 и
Я планирую использовать повторную (10 раз) стратифицированную 10-кратную перекрестную проверку примерно в 10 000 случаев с использованием алгоритма машинного обучения. Каждый раз повторение будет сделано с разными случайными семенами. В этом процессе я создаю 10 экземпляров вероятностных оценок для...
Я экспериментирую с алгоритмом машины повышения градиента через caretпакет в R. Используя небольшой набор данных для поступления в колледж, я запустил следующий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create...
Предположим, что я построил модель прогнозирования возникновения конкретной болезни в одном наборе данных (набор данных построения модели) и теперь хочу проверить, насколько хорошо модель работает в новом наборе данных (набор данных проверки). Для модели, построенной с логистической регрессией, я...
Я изучаю курс машинного обучения, и слайды лекций содержат информацию, которая, на мой взгляд, противоречит рекомендуемой книге. Проблема в следующем: существует три классификатора: классификатор А, обеспечивающий лучшую производительность в нижнем диапазоне порогов, классификатор B, обеспечивающий...
В чем преимущества кривых ROC? Например, я классифицирую некоторые изображения, что является проблемой двоичной классификации. Я выделил около 500 объектов и применил алгоритм выбора объектов, чтобы выбрать набор функций, а затем применил SVM для классификации. В этом случае, как я могу получить...
Почему область под кривой ROC является вероятностью того, что классификатор оценит случайно выбранный «положительный» экземпляр (из полученных предсказаний) выше, чем случайно выбранный «положительный» (из исходного положительного класса)? Как можно доказать это утверждение математически, используя...
Я пытаюсь понять, как вычислить оптимальную точку отсечения для кривой ROC (значение, при котором чувствительность и специфичность максимальны). Я использую набор данных aSAHиз пакета pROC. outcomeПеременная может быть объяснено двумя независимыми переменными: s100bи ndka. Используя синтаксис...
У меня есть тестовый набор из 100 случаев и два классификатора. Я генерировал прогнозы и вычислял ROC AUC, чувствительность и специфичность для обоих классификаторов. Вопрос 1: Как я могу вычислить значение p, чтобы проверить, является ли одно значительно лучше другого по всем показателям (ROC AUC,...
Я применил логистическую регрессию к своим данным в SAS, и вот кривая ROC и таблица классификации. Я доволен цифрами в таблице классификации, но не совсем уверен, что показывают кривая Рока и область под ней. Любое объяснение будет с...
В машинном обучении мы можем использовать область под кривой ROC (часто сокращенно AUC или AUROC), чтобы суммировать, насколько хорошо система может различать две категории. В теории обнаружения сигналов часто (индекс чувствительности) используется для аналогичной цели. Эти два тесно связаны, и я...
Мы использовали для создания кривой GINI, используя лифт, созданный с помощью процента хороших и плохих для моделирования системы показателей. Но то, что я изучил, это то, что кривая ROC создается с использованием матрицы путаницы со спецификой (1- истинный отрицательный) в качестве оси x и...
Я сталкиваюсь с коэффициентом Кости для сходства объема ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) и точности ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Мне кажется, что эти две меры одинаковы. Какие-нибудь...
Одна общая мера, используемая для сравнения двух или более классификационных моделей, заключается в использовании площади под кривой ROC (AUC) в качестве способа косвенной оценки их эффективности. В этом случае модель с большим AUC обычно интерпретируется как работающая лучше, чем модель с меньшим...
Я получил модель логистической регрессии (через train) для бинарного ответа, и я получил логистическую матрицу спутанности через confusionMatrixв caret. Это дает мне путаницу в логистической модели, хотя я не уверен, какой порог используется для ее получения. Как получить матрицу путаницы для...
Обычно мы не можем нарисовать ROC-кривую для дискретных классификаторов, таких как деревья решений. Я прав? Есть ли способ нарисовать ROC-кривую для
Обычно в логистической регрессии мы подбираем модель и получаем некоторые прогнозы на тренировочном наборе. Затем мы проводим перекрестную проверку этих прогнозов обучения (что-то вроде этого ) и определяем оптимальное пороговое значение на основе чего-то вроде кривой ROC. Почему бы нам не включить...
Я работаю над логистической моделью, и у меня возникают трудности с оценкой результатов. Моя модель - биномиальный логит. Мои объяснительные переменные: категориальная переменная с 15 уровнями, дихотомическая переменная и 2 непрерывные переменные. Мой N большой> 8000. Я пытаюсь смоделировать...
Я изо всех сил пытаюсь найти способ вычислить значение p для области под характеристикой оператора приемника (ROC). У меня есть непрерывная переменная и результат диагностического теста. Я хочу посмотреть, является ли AUROC статистически значимым. Я нашел много пакетов, имеющих дело с кривыми ROC:...