Различные способы получения доверительного интервала для отношения шансов из логистической регрессии

Я изучаю, как построить 95% доверительный интервал для отношения шансов из коэффициентов, полученных в логистической регрессии. Итак, учитывая модель логистической регрессии,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

такой, что $x = 0$ для контрольной группы и $x = 1$ для группы случаев.

Я уже читал, что самый простой способ - построить 95% -й CI для $\beta$ тогда мы применили экспоненциальную функцию, то есть

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Мои вопросы:

Какова теоретическая причина, которая оправдывает эту процедуру? Я знаю, что $\mbox{odds ratio} = \exp\{\beta\}$ и оценки максимального правдоподобия инвариантны. Однако я не знаю связи между этими элементами.
Должен ли дельта-метод давать тот же 95% доверительный интервал, что и предыдущая процедура? Используя дельта-метод,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Потом,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Если нет, то какая процедура лучше?

logistic confidence-interval odds-ratio delta-method Марсио Аугусто Диниз
источник

Мне также нравится начальная загрузка для CI, если у меня есть значения параметров или тренировочные данные достаточного размера.

EngrStudent

Есть лучший способ сделать это, см. Stats.stackexchange.com/questions/5304/… подробности

mdewey

Ответы:

Обоснованием процедуры является асимптотическая нормальность MLE для и результат аргументов, включающих центральную предельную теорему. $\beta$
Дельта-метод исходит из линейного (т. Е. Первого порядка) разложения функции вокруг MLE. Впоследствии мы обращаемся к асимптотической нормальности и непредвзятости MLE.

Оба асимптотически дают одинаковый ответ. Но практически вы бы предпочли тот, который выглядит более нормально. В этом примере я предпочел бы первый, потому что последний, вероятно, будет менее симметричным.

эмир
источник

Сравнение методов доверительных интервалов на примере из ISL

В книге «Введение в статистическое обучение» Тибширани, Джеймса, Хасти приведен пример на странице 267 доверительных интервалов для полиномиальной логистической регрессии степени 4 по данным о заработной плате . Цитирую книгу:

Мы моделируем бинарную используя логистическую регрессию с полиномом степени 4. Приведенная апостериорная вероятность получения заработной платы, превышающей 250 000 долл. США, показана синим цветом, а также приблизительно 95% доверительный интервал. $wage>250$

Ниже приведен краткий обзор двух методов построения таких интервалов, а также комментарии о том, как их реализовать с нуля.

Интервалы преобразования Wald / Endpoint

Вычислить верхнюю и нижнюю границы доверительного интервала для линейной комбинации (с использованием CI Вальда) $x^T\beta$
Примените монотонное преобразование к конечным точкам чтобы получить вероятности. $F(x^T\beta)$

Поскольку является монотонным преобразованием $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Конкретно это означает вычисление и затем применение преобразования логита к результату, чтобы получить нижнюю и верхнюю границы: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Вычисление стандартной ошибки

Теория максимального правдоподобия говорит нам, что приблизительная дисперсия может быть вычислена с использованием ковариационной матрицы коэффициентов регрессии с использованием $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Определить расчетную матрицу и матрицу как $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

где - значение й переменной для х наблюдений, а - прогнозируемая вероятность для наблюдения . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

Тогда ковариационная матрица может быть найдена как: и стандартной ошибкой как $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

95% доверительные интервалы для прогнозируемой вероятности могут быть затем нанесены на график как

Доверительные интервалы дельта-метода

Подход заключается в том, чтобы вычислить дисперсию линейного приближения функции и использовать ее для построения больших выборочных доверительных интервалов. $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Где - градиент, а - предполагаемая ковариационная матрица. Обратите внимание, что в одном измерении: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Где является производной . Это обобщает в многомерном случае $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

В нашем случае F - это логистическая функция (которую мы будем обозначать ), чья производная $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Теперь мы можем построить доверительный интервал, используя дисперсию, вычисленную выше.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

В векторной форме для многомерного случая

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Обратите внимание, что представляет одну точку данных в , то есть одну строку матрицы проекта $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Открытое заключение

Изучение графиков нормального QQ как для вероятностей, так и для отрицательных логарифмических шансов показывает, что ни один из них не распределен нормально. Может ли это объяснить разницу?

Источник:

Ксавье Бурре Сикотт
источник

Для большинства целей самый простой способ, вероятно, является лучшим, как обсуждалось в контексте преобразования журнала на этой странице . Представьте, что ваша зависимая переменная анализируется в логитовой шкале с проведенными статистическими тестами и доверительными интервалами (CI), определенными для этой логитовой шкалы. Обратное преобразование в отношение шансов просто помещает эти результаты в шкалу, которую читатель мог бы легче понять. Это также делается, например, в анализе выживаемости по Коксу, где коэффициенты регрессии (и 95% -й ДИ) экспоненциально определяются для получения коэффициентов опасности и их ДИ.

магистр педагогических наук
источник