Рассчитать кривую ROC для данных

Итак, у меня есть 16 испытаний, в которых я пытаюсь идентифицировать человека по биометрической характеристике, используя расстояние Хэмминга. Мой порог установлен на 3,5. Мои данные ниже, и только пробная версия 1 является истинным положительным результатом:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Моя путаница заключается в том, что я действительно не уверен, как сделать из этих данных кривую ROC (FPR против TPR или FAR против FRR). Неважно, какой именно, но я просто не понимаю, как рассчитать его. Любая помощь будет оценена.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction rohanbk
источник

Здесь stats.stackexchange.com/a/105577/49130 вы можете найти дополнительную информацию о том, как нарисовать кривую ROC

Алексей Григорьев

Ответы:

Я предлагаю ROC-графики: заметки и практические рекомендации для исследователей Тома Фосетта, действительно отличное чтение. Насколько я понимаю ваш вопрос, вы найдете все, что вам нужно в этой статье.

Изменить: Вдохновленный Адамом, я также хочу порекомендовать мой любимый R-пакет для этой задачи: ROCR .

Штеффен
источник

Знаете ли вы какие-нибудь хорошие пакеты Matlab, которые могут сделать работу?

rohanbk

@rohanbk Извините, нет. Прошло много времени с тех пор, как я использовал matlab.

Штеффен

Ссылка @steffen не работает.

Alleo

@ Alleo спасибо за уведомление, ссылка теперь указывает на citeseer (где pdf доступен) ... это должно длиться дольше.

Штеффен

Почему вы хотите сделать кривую ROC? Хотите ли вы построить график кривой для зависимых переменных или хотите использовать ее в качестве тестовой статистики, чтобы измерить точность ваших вероятностных прогнозов (в этом случае вы ищете AUC [область под кривой] ).

Если вы знакомы с R, пакет верификации в R имеет две функции, которые вы найдете полезными: roc.plot (), которая позволит вам построить кривую ROC, и roc.area (), которая позволит вам рассчитать АУК.

Адам
источник

Знаете ли вы какие-нибудь хорошие пакеты Matlab, которые могут сделать работу?

rohanbk