Вопросы с тегом «auc»

13
Обязательно ли логистическая регрессия, максимизирующая вероятность, также максимизирует AUC по сравнению с линейными моделями?

Учитывая набор данных с двоичными результатами и некоторой матрицей предикторов , стандартная модель логистической регрессии оценивает коэффициенты \ beta_ {MLE } которые максимизируют биномиальную вероятность. Когда X - полный ранг, \ beta_ {MLE} уникален; когда нет идеального разделения, оно...

logistic maximum-likelihood auc
13
Оценить случайный лес: OOB против CV

Когда мы оцениваем качество случайного леса, например, с использованием AUC, более ли уместно вычислять эти количества по образцам «из пакета» или по совокупности перекрестной проверки? Я слышал, что вычисление его по образцам OOB дает более пессимистическую оценку, но я не понимаю,...

cross-validation random-forest auc
13
Связи между (d-prime) и AUC (область под кривой ROC); скрытые предположения

В машинном обучении мы можем использовать область под кривой ROC (часто сокращенно AUC или AUROC), чтобы суммировать, насколько хорошо система может различать две категории. В теории обнаружения сигналов часто (индекс чувствительности) используется для аналогичной цели. Эти два тесно связаны, и я...

machine-learning roc auc signal-detection d-prime
12
оптимизация auc против logloss в задачах двоичной классификации

Я выполняю задачу бинарной классификации, где вероятность исхода довольно низкая (около 3%). Я пытаюсь решить, следует ли оптимизировать AUC или потерю журнала. Насколько я понял, AUC максимизирует способность модели различать классы, в то время как потери в журнале штрафуют расхождение между...

classification binary-data auc log-loss
12
Насколько хороша моя модель, основанная на значении диагностической метрики (

Я установил свою модель и пытаюсь понять, хороша ли она. Я рассчитал рекомендуемые показатели для его оценки ( / AUC / точность / ошибка прогнозирования / и т. Д.), Но не знаю, как их интерпретировать. Короче говоря, как мне определить, хороша ли моя модель по метрике? Достаточно ли 0,6 (например),...

goodness-of-fit r-squared accuracy auc diagnostic
11
R / mgcv: Почему тензорные продукты te () и ti () производят разные поверхности?

mgcvПакет Rимеет две функции для установки взаимодействия Тензор продукта: te()и ti(). Я понимаю основное разделение труда между ними (подгонка нелинейного взаимодействия против разложения этого взаимодействия на основные эффекты и взаимодействие). Чего я не понимаю, так это почему te(x1, x2)и...

r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa
11
Является ли AUC вероятностью правильной классификации случайно выбранного экземпляра из каждого класса?

Я прочитал эту подпись в газете и никогда не видел, чтобы AUC описывали таким образом где-либо еще. Это правда? Есть ли доказательство или простой способ увидеть это? На рис. 2 показана точность прогнозирования дихотомических переменных, выраженная в терминах площади под кривой рабочих...

classification roc auc
11
Что такое хороший AUC для кривой точного возврата?

Поскольку у меня очень несбалансированный набор данных (9% положительных результатов), я решил, что кривая точного отзыва была более подходящей, чем кривая ROC. Я получил аналогичную сводную меру площади под кривой PR (.49, если вам интересно), но не уверен, как ее интерпретировать. Я слышал, что...

classification precision-recall auc
11
Сравнить классификаторы на основе AUROC или точности?

У меня есть проблема двоичной классификации, и я экспериментирую с различными классификаторами: я хочу сравнить классификаторы. какой из них лучше измерить AUC или точность? И почему? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %...

machine-learning classification auc
10
Почему Anova () и drop1 () предоставили разные ответы для GLMM?

У меня есть GLMM формы: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Когда я использую drop1(model, test="Chi"), я получаю другие результаты, чем если бы я использовал Anova(model, type="III")из пакета автомобиля или summary(model). Последние...

r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion
9
AUC в порядковой логистической регрессии

Я использую 2 вида логистической регрессии - один простой тип, для двоичной классификации, а другой - порядковый логистический регресс. Для вычисления точности первого я использовал перекрестную проверку, где я вычислял AUC для каждого раза и затем вычислял среднее значение AUC. Как я могу сделать...

logistic cross-validation roc auc ordered-logit