Статистическая значимость (p-значение) для сравнения двух классификаторов в отношении (среднего) ROC AUC, чувствительности и специфичности

У меня есть тестовый набор из 100 случаев и два классификатора.

Я генерировал прогнозы и вычислял ROC AUC, чувствительность и специфичность для обоих классификаторов.

Вопрос 1: Как я могу вычислить значение p, чтобы проверить, является ли одно значительно лучше другого по всем показателям (ROC AUC, чувствительность, специфичность)?

Теперь для одного и того же набора тестов из 100 случаев у меня есть разные и независимые назначения функций для каждого случая. Это потому, что мои функции фиксированы, но субъективны и представлены несколькими (5) субъектами.

Итак, я снова оценил свои два классификатора для 5 «версий» моего тестового набора и получил 5 ROC AUC, 5 чувствительности и 5 особенностей для обоих классификаторов. Затем я вычислил среднее значение каждого показателя эффективности для 5 субъектов (среднее значение ROC AUC, среднее значение чувствительности и среднее значение специфичности) для обоих классификаторов.

Вопрос 2: Как я могу вычислить значение p, чтобы проверить, является ли одно значительно лучше другого по средним показателям (среднее значение ROC AUC, средняя чувствительность, средняя специфичность)?

Ответы с примерами кода Python (предпочтительно) или MatLab приветствуются.

machine-learning statistical-significance roc auc sensitivity-specificity Костек
источник

Сделайте прямое сравнение точности, точности, AuC, чтобы получить лучший классификатор среди двух. P-значение здесь не имеет смысла. Значение p используется в контексте оценки, если модель работает лучше, чем случайные / 50-50 заданий (как тест нулевой / альтернативной гипотезы)

Нишад

Во-первых, я не согласен с тем, что сравнение двух показателей производительности с использованием p-значения здесь не имеет смысла. Я вижу, что один классификатор имеет AUC 0,80, а другой 0,85. Моя нулевая гипотеза состояла бы в том, что нет никакой разницы в эффективности обеих объявлений. Я хочу знать, является ли разница статистически значимой.

Костек

Во-вторых, я не делаю 5 версий своей модели. У меня есть две модели, обученные на отдельном тренировочном наборе, и теперь я оцениваю их на 5 разных «версиях» моего тестового набора. Я имею среднюю производительность для обоих классификаторов (например, 0,81 AUC и 0,84 AUC) и хочу проверить, является ли разница статистически значимой.

Костек

Я бы не сказал, что то, что я делаю, близко к перекрестной проверке. В моем случае значения функций зависят от предмета, который их предоставляет. Я знаю, что AUC можно использовать для сравнения моделей, но я хочу знать, является ли в моих настройках результат моего сравнения статистически значимым. Я уверен, что это можно сделать, и что это имеет большой смысл. Мой вопрос, как это сделать.

Костек

Я не уверен, к чему стремится @Nishad, вы можете и должны использовать проверку гипотез, чтобы определить, значительно ли отличаются ваши модели друг от друга. Стандартные отклонения ваших показателей существуют и уменьшаются по мере увеличения размера выборки (при прочих равных условиях). Разница AUC между 0,8 и 0,9 может быть незначительной, если у вас есть только 10 образцов, но может быть очень значительной, если у вас есть 10M образцов. Я также не вижу никакой связи с перекрестной проверкой. Если бы я мог, я бы отказался от комментариев.

Ядерный Ван

Ответы:

Войтек Дж. Кржановски и Дэвид Дж. Кривые ROC для непрерывных данных (2009) - отличный справочник для всего, что связано с кривыми ROC. Он собирает воедино ряд результатов, что является разочаровывающей широкой литературной базой, которая часто использует различную терминологию для обсуждения одной и той же темы.

Кроме того, эта книга предлагает комментарии и сравнения альтернативных методов, которые были получены для оценки одних и тех же величин, и указывает на то, что некоторые методы делают предположения, которые могут быть несостоятельными в определенных контекстах. Это один из таких контекстов; в других ответах сообщается о методе Hanley & McNeil, который предполагает бинормальную модель для распределения баллов, что может быть неуместно в случаях, когда распределение баллов по классам не является (близко к) нормальным. Предположение о нормально распределенных оценках кажется особенно неуместным в современных условиях машинного обучения , типичные общие модели, такие как xgboost, имеют тенденцию давать оценки с распределением «ванной» для задач классификации (то есть распределений с высокой плотностью в крайних значениях около 0 и 1). ).

Вопрос 1 - AUC

В разделе 6.3 обсуждается сравнение ROC AUC для двух кривых ROC (стр. 113-114). В частности, я понимаю, что эти две модели будут коррелированы, поэтому информация о том , как вычислить $r$ имеет решающее значение здесь; в противном случае ваша тестовая статистика будет смещена, поскольку она не учитывает вклад корреляции.

Для случая некоррелированных кривых ROC, не основанных на каких-либо параметрических предположениях о распределении, статистика для тестов и доверительных интервалов, сравнивающих AUC, может быть непосредственно основана на оценках и значений AUC и оценках их стандартных отклонений и , как указано в разделе 3.5.1: $\widehat{\text{AUC}}_1$ $\widehat{\text{AUC}}_2$ $S_1$ $S_2$

$Z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2}}}$ $Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$
Чтобы распространить такие тесты на случай, когда для обоих классификаторов используются одни и те же данные, нам необходимо учесть корреляцию между оценками AUC:
$z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2} - r S_{1} S_{2}}}$ $z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$
где - оценка этой корреляции. Hanley и McNeil (1983) сделали такое расширение, основав свой анализ на бинормальном случае, но дали только таблицу, показывающую, как рассчитать расчетный коэффициент корреляции из корреляции двух классификаторов в классе P и корреляции из двух классификаторов в классе N, говоря, что математический вывод был доступен по запросу. Различные другие авторы (например, Zou, 2001) разработали тесты, основанные на бинормальной модели, предполагая, что может быть найдено соответствующее преобразование, которое будет одновременно преобразовывать распределения баллов классов P и N в нормальное состояние. $r$ $r$ $r_P$ $r_n$

Делонг и др. (1988) воспользовались тождеством между AUC и тестовой статистикой Манна-Уитни, а также результатами теории обобщенной -статистики по Сену (1960), чтобы получить оценку корреляции между AUC, которая не полагается на бинормальное предположение. Фактически, ДеЛонг и др. (1988) представили следующие результаты для сравнения между классификаторами. $U$ $k\ge 2$

В разделе 3.5.1 мы показали, что площадь под эмпирической кривой ROC была равна -статистике Манна-Уитни и была задана $U$

где- оценка дляобъектовклассаа- оценка дляобъектовклассаобъектыклассав образце. Предположим, что у нас естьклассификаторов, которые дают оценки
$\hat{A U C} = \frac{1}{n_{N} n_{P}} \sum_{i = 1}^{n_{N}} \sum_{j = 1}^{n_{P}} [I (s_{P_{j}} > s_{N_{i}}) + \frac{1}{2} I (s_{P_{j}} = s_{N_{i}})]$ $\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$ $s_{P_i}, i = 1, \dots,n_P$ $P$ $s_{N_j}, j = 1, \dots,n_N$ $N$ $k$ и [я исправил ошибку индексации в этой части - Sycorax] и . определять $s^r_{N_j}, j=1\dots n_N$ $s_{P_i}^r, j = 1, \dots,n_P$ $\widehat{AUC}_r, r = 1, \dots, k$
и
$V_{10}^{r} = \frac{1}{n_{N}} \sum_{j = 1}^{n_{N}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], i = 1, \dots, n_{P}$ $V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$ $V_{01}^{r} = \frac{1}{n_{P}} \sum_{i = 1}^{n_{P}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], j = 1, \dots, n_{N}$ $V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$
затем определим матрицу с -ым элементом $k \times k$ $\mathbf{W}_{10}$ $(r,s)$ иматрицас-м элементом
$w_{10}^{r, s} = \frac{1}{n_{P} - 1} \sum_{i = 1}^{n_{P}} [V_{10}^{r} (s_{P_{i}}) - {\hat{A U C}}_{r}] [V_{10}^{s} (s_{P_{i}}) - {\hat{A U C}}_{s}]$ $w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$ $k \times k$ $\mathbf{W}_{01}$ $(r,s)$ Тогда оцененная ковариационная матрица для вектора $w_{01}^{r, s} = \frac{1}{n_{N} - 1} \sum_{i = 1}^{n_{N}} [V_{01}^{r} (s_{N_{i}}) - {\hat{A U C}}_{r}] [V_{01}^{s} (s_{N_{i}}) - {\hat{A U C}}_{s}]$ $w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$ расчетных площадей под кривыми составляет $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ с элементами. Это обобщение результата для оценочной дисперсии одного оцененного AUC, также приведенного в разделе 3.5.1. В случае двух классификаторов оценочная корреляциямежду оцененными AUC, таким образом, определяется как $W = \frac{1}{n_{P}} W_{10} + \frac{1}{n_{N}} W_{01}$ $\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$ $w^{r,s}$ $r$ которые можно использовать ввыше. $\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$ $z$

Поскольку другие ответы дают выражения Хенли и Макнеила для оценщиков дисперсии AUC, здесь я воспроизведу оценку Делонга из p. 68:

$s$ $s$ $s$ $1 - F(s)$ $s$ $1 - G(s)$ $s_{N_i}$ $s^P_{N_i}$ $s_{N_i}$ $\text{var}(s_{P_i}^N)$

$\widehat{AUC}$
$s^{2} (\hat{A U C}) = \frac{1}{n_{P}} var (s_{P_{i}}^{N}) + \frac{1}{n_{N}} var (s_{N_{i}}^{P})$ $s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$

$F$ $G$ $F$ $G$

$Z$ $z$

Это упрощенное общее описание того, как работает проверка гипотез:

Проверка, по вашим словам, «является ли один классификатор значительно лучше другого» может быть перефразирована как проверка нулевой гипотезы о том, что две модели имеют статистически равные значения AUC, против альтернативной гипотезы о том, что статистика неравна.
Это двусторонний тест.
Мы отвергаем нулевую гипотезу, если тестовая статистика находится в критической области эталонного распределения, которое в этом случае является стандартным нормальным распределением.
$\alpha$ $z > 1.96$ $z < -1.96$ $\alpha/2$ $1 - \alpha/2$

Вопрос 1 - Чувствительность и специфичность

$t$

\begin{aligned} sensitivity = t p & = P (s_{P} > t) \\ 1 - specificity = f p & = P (s_{N} > t) \end{aligned}

$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$

Основным камнем преткновения является разработка соответствующего теста, учитывая, что две пропорции образца будут коррелированы (поскольку вы применили две модели к одним и тем же данным теста). Об этом говорится на с. 111.

$tp$ $fp$ $t$ $(tp_1 - tp_2) / s_{12}$ $tp_i$ $i$ $s_{12}^2$ $tp_1$ $tp_2$

$tp_1$ $tp_2$

$N$

$tp_1 = tp_2$ $tp_1 \neq tp_2$

\begin{array}{ccc} Model 1 Positive at t & Model 1 Negative at t \\ Model 2 Positive at t & a & b \\ Model 2 Negative at t & c & d \end{array}

$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$

\begin{aligned} a & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} > t) \\ b & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} > t) \\ c & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} \leq t) \\ d & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} \leq t) \end{aligned}

$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$

M = \frac{(b - c)^{2}}{b + c}

$M = \frac{(b-c)^2}{b + c}$

χ_{1}^{2}

$\chi^2_1$

α = 95 %

$\alpha=95\%$

M > 3.841459

$M > 3.841459$

$s^r_{P_i}$ $s^r_{N_j}$

вопрос 2

Кажется, что достаточно объединить результаты путем усреднения значений прогнозирования для каждого респондента, так что для каждой модели у вас есть 1 вектор из 100 усредненных прогнозируемых значений. Затем вычислите ROC AUC, статистику чувствительности и специфичности как обычно, как если бы исходные модели не существовали. Это отражает стратегию моделирования, которая рассматривает каждую из 5 моделей респондентов как один из «комитетов» моделей, что-то вроде ансамбля.

Sycorax говорит восстановить Монику
источник

Спасибо за ваш ответ и предоставленные ссылки. Как насчет p-значений для чувствительности и специфичности?

Костек

Для Q1 означает ли это, что нет разницы между вычислением p-значения для чувствительности и специфичности, и что они оба всегда имеют одинаковое p-значение, и я просто создаю таблицу сопряженности и запускаю на ней тест Мак-Немара?

Костек

Нет, вы бы сделали один тест для каждого.

Sycorax говорит восстановить Монику

a, b, c, d

$a,b,c,d$

@Drey Они не пропорции; они считаются. Я делаю это явно в пересмотре.

Сикоракс говорит восстановить Монику

Позвольте мне кратко ответить, потому что это руководство объясняет намного больше и лучше .

$nTP$ $nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$ $Q_2 = 2A^2 / (1 + A)$

Для сравнения двух AUC вам нужно вычислить SE из них, используя:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$ $r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Оттуда вы можете вычислить p-значение, используя плотность вероятности стандартного нормального распределения. Или просто используйте этот калькулятор.

Это, надеюсь, ответит на вопрос 1 . - по крайней мере, часть, сравнивающая AUC. Sens / Spec уже каким-то образом покрывается ROC / AUC. В противном случае ответ, я думаю, лежит в вопросе 2.

Что касается вопроса 2 , центральная предельная теорема говорит нам, что ваша сводная статистика будет следовать нормальному распределению. Следовательно, я думаю, что будет достаточно простого t-критерия (5 мер одного классификатора против 5 мер второго классификатора, где мерами могут быть AUC, sens, spec)

$\texttt{SE}$ $\ldots - 2r \ldots$

беличье гнездо
источник

Спасибо за предоставленные ссылки. Для вопроса 1, если я установлю A как чувствительность или специфичность, будут ли справедливы уравнения для SE и z-Score?

Костек

\hat{p}

$\hat{p}$

На вопрос 1 @Sycorax предоставил исчерпывающий ответ.

На вопрос 2, насколько мне известно, усреднение прогнозов по предметам является неправильным. Я решил использовать начальную загрузку для вычисления p-значений и сравнения моделей.

В этом случае процедура выглядит следующим образом:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Эта процедура выполняет односторонний тест и предполагает, что M1 означает производительность> M2 означает производительность.

Реализацию начальной загрузки Python для вычисления значений p, сравнивающих несколько читателей, можно найти в этом репозитории GitHub: https://github.com/mateuszbuda/ml-stat-util

Костек
источник