Регрессия остатков логистической регрессии на других регрессорах

С помощью регрессии OLS, применяемой к непрерывному отклику, можно построить уравнение множественной регрессии, последовательно выполняя регрессии остатков в каждом ковариате. У меня вопрос, есть ли способ сделать это с помощью логистической регрессии через остатки логистической регрессии ?

$\Pr(Y = 1 | x, z)$$x$$R_1$$R_1$$z$

В стандартной множественной линейной регрессии способность подгонять оценки обыкновенных наименьших квадратов (OLS) в два этапа приходит из теоремы Фриша – Во – Ловелла . Эта теорема показывает, что оценка коэффициента для конкретного предиктора в множественной линейной модели равна оценке, полученной путем регрессии остатков ответа (остатков от регрессии переменной ответа против других объясняющих переменных) по отношению к остаткам предиктора (остаткам). от регрессии предикторной переменной к другим объясняющим переменным). Очевидно, вы ищете аналогию с этой теоремой, которая может быть использована в модели логистической регрессии.

Для этого вопроса полезно вспомнить латентно-переменную характеристику логистической регрессии :

$$Y_i = \mathbb{I}(Y_i^* > 0) \quad \quad \quad Y_i^* = \beta_0 + \beta_X x_i + \beta_Z z_i + \varepsilon_i \quad \quad \quad \varepsilon_i \sim \text{IID Logistic}(0,1).$$

В этой характеристике модели переменная скрытого ответа ненаблюдаема, и вместо этого мы наблюдаем индикатор который сообщает нам, является ли скрытый ответ положительным. Эта форма модели выглядит аналогично множественной линейной регрессии, за исключением того, что мы используем немного другое распределение ошибок (логистическое распределение вместо нормального распределения), и, что более важно, мы наблюдаем только показатель, показывающий, является ли скрытый ответ положительным ,$Y_i^*$$Y_i$

Это создает проблему для любой попытки создать двухэтапное соответствие модели. Эта теорема Фриша-Во-Ловелла зависит от способности получать промежуточные невязки для отклика и интересующего предиктора, взятые против других объясняющих переменных. В данном случае мы можем получить невязки только из «категорированной» переменной ответа. Создание двухэтапного процесса подбора для логистической регрессии потребует от вас использования остатков ответов из этой категорированной переменной ответа без доступа к скрытому ответу. Это кажется мне серьезным препятствием, и, хотя это не доказывает невозможности, представляется маловероятным, что модель будет соответствовать двум этапам.

Ниже я дам вам отчет о том, что потребуется для нахождения двухэтапного процесса, подходящего для логистической регрессии. Я не уверен, есть ли решение этой проблемы, или есть доказательство невозможности, но материал здесь должен помочь вам понять, что требуется.

---

Как будет выглядеть двухэтапная логистическая регрессия? Предположим, что мы хотим построить двухступенчатое соответствие для модели логистической регрессии, где параметры оцениваются посредством оценки максимального правдоподобия на каждом шаге. Мы хотим, чтобы процесс включал промежуточный этап, который подходит для следующих двух моделей:

$$\begin{matrix} Y_i = \mathbb{I}(Y_i^{**} > 0) & & & Y_i^{**} = \alpha_0 + \alpha_X x_i + \tau_i & & & \tau_i \sim \text{IID Logistic}(0,1), \\[6pt] & & & \text{ } \text{ } Z_i = \gamma_0 + \gamma_X x_i + \delta_i & & & \delta_i \sim \text{IID } g. \quad \quad \quad \quad \quad \\ \end{matrix}$$

Мы оцениваем коэффициенты этих моделей (через MLE), и это дает промежуточные подгонянные значения . Затем на втором этапе мы подгоняем модель:$\hat{\alpha}_0, \hat{\alpha}_X, \hat{\gamma}_0, \hat{\gamma}_X$

$$Y_i = \text{logistic}(\hat{\alpha}_0 + \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) + \epsilon_i \quad \quad \quad \epsilon_i \sim \text{IID } f.$$

Как указано, в процедуре много фиксированных элементов, но функции плотности и на этих этапах остаются неопределенными (хотя они должны быть распределениями с нулевым средним, которые не зависят от данных). Чтобы получить двухступенчатый метод подгонки под эти ограничения, нам нужно выбрать и чтобы MLE для в этом двухступенчатом алгоритме модели был таким же, как MLE, полученный из одношаговой модели логистической регрессии. над.$g$$f$$g$$f$$\beta_Z$

Чтобы увидеть, возможно ли это, мы сначала запишем все оценочные параметры из первого шага:

$$\begin{equation} \begin{aligned} \ell_{\mathbf{y}| \mathbf{x}} (\hat{\alpha}_0, \hat{\alpha}_X) &= \underset{\alpha_0, \alpha_X}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\alpha_0 + \alpha_X x_i)), \\[10pt] \ell_{\mathbf{z}| \mathbf{x}} (\hat{\gamma}_0, \hat{\gamma}_X) &= \underset{\gamma_0, \gamma_X}{\max} \sum_{i=1}^n \ln g( z_i - \gamma_0 - \gamma_X x_i ). \end{aligned} \end{equation}$$

Пусть чтобы функция логарифмического правдоподобия для второго шага была:$\epsilon_i = y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)$

$$\ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \sum_{i=1}^n \ln f(y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)).$$

Мы требуем, чтобы максимальное значение этой функции было MLE модели множественной логистической регрессии. Другими словами, мы требуем:

$$\underset{\beta_X}{\text{arg max }} \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \underset{\beta_X}{\text{arg max }} \underset{\beta_0, \beta_Z}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\beta_0 + \beta_X x_i + \beta_Z z_i)).$$

Я оставляю это на усмотрение других, чтобы определить, есть ли решение этой проблемы или доказательство отсутствия решения. Я подозреваю, что «категоризация» скрытой переменной ответа в логистической регрессии сделает невозможным поиск двухэтапного процесса.

Я могу неправильно истолковать вопрос. Я сомневаюсь, что вы можете построить уравнение линейной регрессии путем регрессии по остаткам, как указано в OP . Метод OP будет работать, только если предикторы не зависят друг от друга.

Чтобы заставить его работать, предположим, что - вектор результата, - матрица модели для предикторов, уже находящихся в модели, и вы хотите включить . Вам нужно регрессировать остаток регрессии на против остатка регрессии на чтобы получить коэффициент OLS для .$y$$X$$x_1$$y$$X$$x_1$$X$$x_1$

Вот простой пример:

set.seed(12345)
n <- 5000
x1 <- rnorm(n)
x2 <- .5 * x1 + rnorm(n) # Correlated predictors
y <- x1 + x2 + rnorm(n)

Подходит модель с OLS:

coef(lm(y ~ x1 + x2))
(Intercept)          x1          x2 
0.001653707 1.037426007 0.996259446 

Регрессия на остатки:

coef(lm(residuals(lm(y ~ x1)) ~ x2))
(Intercept)          x2 
0.001219232 0.818774874 

Это неправильно, вам нужно соответствовать:

coef(lm(residuals(lm(y ~ x1)) ~ residuals(lm(x2 ~ x1))))
           (Intercept) residuals(lm(x2 ~ x1)) 
         -6.707350e-17           9.962594e-01 

Возвращает правильный коэффициент для x2, это совпадает с ожидаемыми различиями в y с учетом различий в x2, сохраняя постоянную x1 (исключая его из значений y и x1).

Кроме того, в логистической регрессии это было бы даже более проблематично, поскольку коэффициенты логистической регрессии страдают от пропущенного переменного смещения даже в отсутствие смешанных отношений, см. Здесь и здесь , поэтому, если все предикторы результата не находятся в модели, невозможно получить непредвзятые оценки истинных параметров населения. Более того, я не знаю каких-либо остатков от модели, которые были бы подвержены второй логистической регрессии со всеми значениями, лежащими между 0 и 1.

Некоторые ссылки на регрессию на остатки:

• Максвелл, SE, Делани, HD, и Манхеймер, JM (1985). Anova of Residuals и Ancova: исправление иллюзии с помощью сравнений моделей и графиков. Журнал образовательной статистики, 10 (3), 197–209. Получено с http://journals.sagepub.com/doi/pdf/10.3102/10769986010003197
• Freckleton, RP (2002), О неправильном использовании остатков в экологии: регрессия остатков против множественной регрессии. Журнал Экологии животных, 71 , 542-545. DOI: 10,1046 / j.1365-2656.2002.00618.x

Надеюсь, я не ошибаюсь в вашем вопросе, поскольку мой ответ несколько изменит формулировку того, как вы сформулировали свою тему.

Я думаю, что вы пытаетесь создать регрессионную модель, добавляя по одной независимой переменной за раз. И вы делаете это, наблюдая, какая предполагаемая переменная имеет наибольшую корреляцию с остатком вашей первой регрессии между Y и X1. Таким образом, переменная с самой высокой корреляцией с этим первым остатком будет X2. Итак, теперь у вас есть модель с двумя независимыми переменными X1 и X2. И вы продолжаете этот точный процесс, чтобы выбрать X3, X4 и т. Д. Это пошаговый процесс вперед.

Вы можете сделать то же самое с Логистической Регрессией по той простой причине, что Логистическая Регрессия в значительной степени является Регрессией OLS, где зависимой переменной является журнал нечетного (или logit). Но то, является ли Y логитом или нет, не влияет на пошаговый процесс, упомянутый выше.

OLS минимизирует сумму квадратичных ошибок, чтобы соответствовать фактическим данным. В регрессии Logit используется процесс максимального правдоподобия, который генерирует соответствие, которое не сильно отличается от OLS. И это тоже (механизм подбора) не должен влиять на пошаговый процесс продвижения вперед, который позволяет вам построить модель множественной регрессии, независимо от того, является ли последняя регрессией OLS или логит-регрессией.