Обязательно ли логистическая регрессия, максимизирующая вероятность, также максимизирует AUC по сравнению с линейными моделями?

Учитывая набор данных с двоичными результатами и некоторой матрицей предикторов , стандартная модель логистической регрессии оценивает коэффициенты которые максимизируют биномиальную вероятность. Когда - полный ранг, уникален; когда нет идеального разделения, оно конечно. $y\in\{0,1\}^n$ $X\in\mathbb{R}^{n\times p}$ $\beta_{MLE}$ $X$ $\beta_{MLE}$

Эта модель максимального правдоподобия также максимизирует ROC AUC (он же -статистический), или существует некоторая оценка коэффициента которая позволит получить более высокий ROC AUC? Если это правда, что MLE не обязательно максимизирует ROC AUC, то другой способ взглянуть на этот вопрос: «Есть ли альтернатива максимизации вероятности, которая всегда будет максимизировать ROC AUC логистической регрессии?» $c$ $\beta_{AUC} \neq \beta_{MLE}$

Я предполагаю, что модели в остальном одинаковы: мы не добавляем и не удаляем предикторы в или иным образом изменяем спецификацию модели, и я предполагаю, что модели, максимизирующие правдоподобие и максимизирующие AUC, используют одну и ту же функцию связи. $X$

logistic maximum-likelihood auc Sycorax говорит восстановить Монику
источник

Конечно, если, например, какая-то функция связи генерирует лучшее соответствие, чем логит? Помимо этого, хороший вопрос, можно ли считать процесс генерирования данных логитом.

β_{AUC} \neq β_{MLE}

$\beta_{\text{AUC}} \neq \beta_{\text{MLE}}$

Nutle

Хороший вопрос, но учтите это. ROC и AUC используются для сравнения двух разных моделей, поэтому, если решение для оценки MLE какой-либо модели уникально, это означает, что вы можете получить другой AUC, только если вы измените спецификацию текущей модели и оцените новую модель через MLE. Таким образом, в этот момент возникает другой вопрос: существует ли какой-либо другой «лучший» метод оценки (алгоритм максимизации ecc), кроме простого MLE, применимый к той же модели, так что я получаю различные оценки коэффициентов, приводящих к новым «лучшим» бета-версиям с более высоким AUC?

Точно @Nutle, это будет другая спецификация

Fr1

@ Fr1 Да, вот что значит уникальный. В моем вопросе я подразумеваю что-то вроде «что если есть какая-то альтернатива MLE, которая достигает более высокого AUC?» Если это правда, что существует другая линейная модель (модель, отличная от MLE), которая достигает более высокого AUC, то об этом было бы интересно узнать.

Sycorax говорит восстановить

@Sycorax, что еще мы предполагаем? :) Предположения важны, так как, если мы знаем истинный DGP с использованием ссылки и переменных, MLE является наиболее мощной беспристрастной статистикой.

Nutle

Ответы:

Это не тот случай, когда $\beta_{MLE} = \beta_{AUC}$ .

Чтобы проиллюстрировать это, рассмотрим, что AUC может быть написано как

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

Другими словами, порядок предсказаний - единственное, что влияет на AUC . Это не относится к функции правдоподобия. Итак, в качестве умственного упражнения, предположим, что у нас были единственные предикторы, и в нашем наборе данных мы не видим идеального разделения (т. $\beta_{MLE}$ конечно). Теперь, если мы просто примем значение самого большого предиктора и увеличим его на некоторое небольшое значение, мы изменим вероятность этого решения, но оно не изменит AUC, так как порядок должен остаться прежним. Таким образом, если старый MLE максимизировал AUC, он все равно будет максимизировать AUC после изменения предиктора, но больше не будет максимизировать вероятность.

Таким образом, по крайней мере, дело не в том, что $\beta_{AUC}$ не является уникальным; любое $\beta$ которое сохраняет порядок оценок, достигает точно такой же AUC. В общем, так как AUC чувствителен к различным аспектам данных, я поверю , что мы должны быть в состоянии найти случай , когда $\beta_{MLE}$ не максимизирует $\beta_{AUC}$ . На самом деле, я бы рискнул предположить, что это происходит с большой вероятностью.

РЕДАКТИРОВАТЬ (перевод комментария в ответ)

Следующий шаг - доказать, что MLE не обязательно максимизирует AUC (что еще не доказано). Это можно сделать, взяв что-то вроде предикторов 1, 2, 3, 4, 5, 6, $x$ (с $x > 6$ ) с результатами 0, 0, 0, 1, 1, 1, 0. Любое положительное значение $\beta$ будет максимизировать AUC (независимо от значения $x$ ), но мы можем выбрать $x$ достаточно большой, чтобы $\beta_{MLE} < 0$ .

Клифф AB
источник

(+1) Ах! Конечно, поскольку речь идет о порядке упорядочения, мы можем произвольно изменить точку пересечения, которая, очевидно, должна изменить значение вероятности, но порядок должен быть таким же, поскольку ни один из коэффициентов функции не изменился, поэтому AUC останется фиксированным.

Sycorax говорит восстановить

+1. Работает ли пример редактирования с

? Если нам нужно взять достаточно большое

чтобы это работало с большим

, разве вероятность того, что такие значения быстро сходятся к 0, для некоторого фиксированного логита?

n \to \infty

$n \rightarrow \infty$

x

$x$

n

$n$

Nutle

@Nutle: ну, зависит от того, что вы имеете в виду при

. Если бы мы взяли

копий (предикторов + результатов) моего игрушечного набора данных, то да, результат был бы верен. Однако, если бы мы взяли

копий этого набора предикторов, а данные действительно были получены из модели логистической регрессии, это почти никогда бы не произошло (как вы указали). Однако обратите внимание, что что-то похожее на это может произойти с большой вероятностью, если отношение между предикторами на самом деле не будет следовать модели логистической регрессии.

n \to \infty

$n \rightarrow \infty$

n

$n$

n

$n$

Клифф AB

Да, спасибо, говорил о размере. Итак, предполагая, что такое распределение с тяжелыми хвостами известно, будет ли пример сохраняться, если оценка MLE была скорректирована с учетом истинного распределения? Что я собираюсь сделать, так это если вероятность того, что

существует для любой выборки

, не приближается к 0, не должна ли оценка MLE реагировать на нее соответствующим образом и не вести себя так, как это было бы с выбросами? Извините , если я не совсем ясно здесь с формулировкой

x

$x$

n

$n$

Nutle