Свойства логистических регрессий

Мы работаем с некоторыми логистическими регрессиями, и мы поняли, что средняя оценочная вероятность всегда равна доле вероятностей в выборке; то есть среднее значение подгонянных значений равно среднему значению по выборке.

Кто-нибудь может объяснить мне причину или дать ссылку, где я могу найти эту демонстрацию?

Поведение, которое вы наблюдаете, является «типичным» случаем в логистической регрессии, но не всегда верно. Это также имеет место в гораздо большей общности (см. Ниже). Это является следствием слияния трех отдельных фактов.

1. Выбор моделирования лог-шансов в качестве линейной функции предикторов,
2. Использование максимального правдоподобия для получения оценок коэффициентов в модели логистической регрессии, и
3. Включение члена перехвата в модель.

Если что-либо из вышеперечисленного отсутствует, то средние оценочные вероятности, как правило, не будут соответствовать доле из них в выборке.

Однако (почти) все статистическое программное обеспечение использует оценку максимального правдоподобия для таких моделей, поэтому на практике пункты 1 и 2 присутствуют практически всегда, а пункт 3 обычно присутствует, за исключением особых случаев.

Некоторые детали

В типичных рамках логистической регрессии мы наблюдаем результаты независимых биномиальных испытаний с вероятностью . Позвольте y я быть наблюдаемыми ответами. Тогда полная вероятность того, L = п Π я = 1 р у я я ( 1 - р я ) 1 - у я = п Π я = 1 ехр ( у я входе ( р я / ( 1 - р $p_i$$y_i$ И таким образом, лог-правдоподобия ℓ = п Σ я = 1 у я войти ( р я / ( 1 - р я ) ) + п Σ я = 1 журнал ( 1 - р я

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

Теперь у нас есть вектор предикторов для каждого наблюдения, а из факта 1 выше модель логистической регрессии утверждает, что log p $\newcommand{\x}{\mathbf x}\x_i$

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$ в этом случае.

$\x_i$$j$$i$$\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$ и так эмпирическое соотношение положительных ответов соответствует среднему подогнанные вероятности.

Симуляция

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Общий случай : Как упоминалось выше, свойство того, что средний отклик равен среднему прогнозируемому среднему, имеет гораздо большую общность для класса обобщенных линейных моделей, подходящих по максимальному правдоподобию, с использованием функции канонического связывания и включения перехвата в модель.

Ссылки

Некоторые хорошие ссылки для связанной теории следующие.

1. A. Agresti (2002), Категориальный анализ данных , 2-е изд., Wiley.
2. P. McCullagh и JA Nelder (1989), Обобщенные линейные модели , 2-е изд., Chapman & Hall. (Текст от оригинальных авторов общих методов.)