Оценка моделей логистической регрессии

Этот вопрос возникает из-за моей путаницы в том, как решить, достаточно ли хороша логистическая модель. У меня есть модели, которые используют состояние пар индивидуальный проект через два года после их формирования в качестве зависимой переменной. Результат успешен (1) или нет (0). У меня есть независимые переменные, измеренные во время формирования пар. Моя цель - проверить, влияет ли переменная, которая, как я предположил, влияет на успех пары, на этот успех, контролируя другие потенциальные влияния. В моделях переменная интереса значительна.

Модели оценивались с использованием glm()функции в R. Чтобы оценить качество моделей, я сделал несколько вещей: glm()дает вам residual deviance, по AICи BICпо умолчанию. Кроме того, я рассчитал частоту появления ошибок в модели и составил график остатков.

Полная модель имеет меньшее остаточное отклонение, AIC и BIC, чем другие модели, которые я оценил (и которые вложены в полную модель), что заставляет меня думать, что эта модель «лучше», чем другие.
ИМХО (как в Gelman and Hill, 2007, pp.99 ): частота ошибок в модели достаточно низкая,
error.rate <- mean((predicted>0.5 & y==0) | (predicted<0.5 & y==1)около 20%.

Все идет нормально. Но когда я строю график остатков (опять же по совету Гелмана и Хилла), большая часть контейнеров выходит за пределы 95% -ного КИ: Участок Binned Residuals

Этот сюжет заставляет меня думать, что в модели что-то совершенно не так. Должно ли это привести меня к выбрасыванию модели? Должен ли я признать, что модель несовершенна, но сохранить ее и интерпретировать влияние переменной интереса? Я поэкспериментировал с исключением переменных по очереди, а также с некоторым преобразованием, без реального улучшения графика с остатками.

Редактировать:

На данный момент модель имеет десяток предикторов и 5 эффектов взаимодействия.
Пары «относительно» независимы друг от друга в том смысле, что все они сформировались за короткий промежуток времени (но не строго говоря, все одновременно), и есть много проектов (13 тыс.) И много людей (19 тыс.). ), поэтому значительную часть проектов объединяет только одно лицо (около 20000 пар).

r logistic goodness-of-fit residuals Антуан Верне
источник

Y

$Y$

Исходя из того, что вы говорите, размер выборки не является проблемой, потому что у меня около 20000 тысяч пар (из которых примерно 20% успешны).

Антуан Вернет

Ответы:

Точность классификации (частота ошибок) - это неправильное правило оценки (оптимизированное фиктивной моделью), произвольное, прерывистое и простое в управлении. Это не нужно в этом контексте.

Вы не указали, сколько было предсказателей. Вместо того, чтобы оценивать соответствие модели, я хотел бы просто привести модель в соответствие. Компромиссный подход состоит в том, чтобы предположить, что взаимодействия не важны, и позволить непрерывным предикторам быть нелинейными с помощью сплайнов регрессии. График предполагаемых отношений. rmsПакет в R делает все это относительно легко. Смотрите http://biostat.mc.vanderbilt.edu/rms для получения дополнительной информации.

Вы можете уточнить «пары» и то, являются ли ваши наблюдения независимыми.

Фрэнк Харрелл
источник

Если я правильно понимаю, ваш совет заключается в том, чтобы сосредоточиться на графике остатков и получить его прямо, прежде чем делать что-либо еще, в конечном итоге используя сплайны регрессии, я прав? Я отредактировал вопрос, чтобы указать, сколько существует предикторов и что пары «относительно» независимы.

Антуан Вернет

Привет, Фрэнк. Почему вы говорите, что точность классификации это плохой метод? Это потому, что здесь она оценивается по тем же данным, из которых получена модель?

Питер Флом - Восстановить Монику

χ^{2}

$\chi^2$

c

$c$

Нет, я имею в виду, что непрерывные предикторы могут работать нелинейно по шкале логарифмов, расширяя их в несколько терминов, используя ограниченные кубические сплайны (естественные сплайны). Затем составьте график предполагаемых преобразований, чтобы узнать о частичных эффектах каждого предиктора.

Фрэнк Харрелл

Спасибо за вклад, это было действительно полезно. Более подробно изучив данные, я понял, что у меня есть проблемы с коллинеарностью (даже если у меня не было высоких парных корреляций).

Антуан Верне

$x^2$

Gung - Восстановить Монику
источник