Диагностика логистической регрессии

74

Для линейной регрессии мы можем проверить диагностические графики (графики остатков, графики нормального QQ и т. Д.), Чтобы проверить, не нарушены ли предположения о линейной регрессии.

Что касается логистической регрессии, у меня возникают проблемы с поиском ресурсов, которые объясняют, как диагностировать подходящую модель логистической регрессии. Подытоживая некоторые заметки о курсе для GLM, в нем просто говорится, что проверка остатков не помогает в постановке диагноза для логистической регрессии.

Просматривая Интернет, кажется, существуют также различные «диагностические» процедуры, такие как проверка отклонения модели и выполнение тестов хи-квадрат, но другие источники утверждают, что это неуместно, и что вам следует выполнить доброту посадки Hosmer-Lemeshow. контрольная работа. Затем я нахожу другие источники, которые утверждают, что этот тест может сильно зависеть от фактических группировок и предельных значений (может быть ненадежным).

Так как же следует диагностировать логистическую регрессию?

ialm
источник
1
Возможно дублирование (или особый случай) stats.stackexchange.com/questions/29271/… или stats.stackexchange.com/questions/44643/… , хотя ни один из них не имеет ответов, которые действительно решат его за вас.
Питер Эллис
1
Я рекомендую вам прочитать монографию Скотта Менарда, которая совсем недавно была доступна бесплатно в Интернете.
rolando2
2
Этот вопрос о критериях соответствия для логистической регрессии может быть полезен (хотя, конечно, качество соответствия является лишь небольшой частью диагностики моделей): stats.stackexchange.com/questions/3559/logistic-regression-which-pseudo-r- кокс-мера-это-один-к-отчету / 3570
С. Коласса - Восстановить Монику

Ответы:

39

Несколько новых методов, с которыми я сталкивался для оценки соответствия моделей логистической регрессии, взяты из политологических журналов:

  • Гринхилл, Брайан, Майкл Д. Уорд и Одри Сакс. 2011. Разделительный график: новый визуальный метод оценки соответствия бинарных моделей. Американский журнал политических наук 55 (4): 991-1002 .
  • Эсарей, Джастин и Эндрю Пирс. 2012. Оценка качества посадки и тестирование на отсутствие спецификации в бинарно-зависимых переменных моделях. Политический анализ 20 (4): 480-500 . Препринт PDF Здесь

Обе эти методики призваны заменить тесты Goodness-of-Fit (например, Hosmer & Lemeshow) и выявить потенциальную ошибочную спецификацию (в частности, нелинейность во включенных переменных в уравнение). Они особенно полезны, поскольку типичные меры подгонки R-квадрата часто подвергаются критике .

Обе из вышеприведенных работ используют прогнозируемые вероятности в сравнении с наблюдаемыми результатами на графиках, что несколько исключает неясный вопрос о том, что является остатком в таких моделях. Примерами остатков могут быть вклад в логарифмическое правдоподобие или остатки Пирсона (хотя я считаю, что их гораздо больше). Еще одна мера, которая часто представляет интерес (хотя и не является остаточным), это DFBeta (величина, по которой оценка коэффициента изменяется, когда наблюдение исключается из модели). См. Примеры в Stata для этой страницы UCLA по диагностике логистической регрессии вместе с другими возможными диагностическими процедурами.

Мне это не пригодится, но я полагаю, что регрессионные модели Дж. Скотта Лонга для категориальных и ограниченно-зависимых переменных достаточно подробно описывают все эти различные диагностические измерения.

Энди У
источник
2
Есть множество других книг (по крайней мере, по частям, если не полностью) для логистической регрессии. Различные учебники по категориям, посвященные анализу данных, разработанные Агрести, Скотт Менард, Хосмер и Лемешоу, а также книга Фрэнка Харрелла по RMS - вот те, которые я рекомендовал на этом форуме различными авторами.
Энди W
Спасибо за ваш ответ. Я думаю, что нет простого ответа на мой вопрос. Я посмотрю на ваши рекомендации. Приветствия.
января
23

Вопрос был недостаточно мотивирован. Должна быть причина для запуска диагностики модели, например:

  • Потенциал изменить модель, чтобы сделать ее лучше
  • Не зная, какие направленные тесты использовать (т. Е. Тесты на нелинейность или взаимодействие)
  • Неспособность понять, что изменение модели может легко исказить статистический вывод (стандартные ошибки, доверительные интервалы, )P

За исключением проверки вещей, которые ортогональны спецификации алгебраической регрессии (например, проверка распределения остатков в обычных линейных моделях), диагностика моделей может создать столько проблем, сколько они решают, на мой взгляд. Это особенно верно для бинарной логистической модели, поскольку она не имеет предположения о распределении.

Поэтому, как правило, лучше тратить время на определение модели, особенно чтобы не предполагать линейность для переменных, которые считаются сильными, для которых никакие предварительные данные не предполагают линейность. В некоторых случаях вы можете предварительно указать модель, которая должна соответствовать, например, если число предикторов невелико или вы разрешаете всем предикторам быть нелинейными и (правильно) не предполагать взаимодействия.

Любой, кто чувствует, что диагностика модели может использоваться для изменения модели, должен запускать этот процесс в цикле начальной загрузки, чтобы правильно оценить индуцированные неопределенности модели.

Фрэнк Харрелл
источник
4
Я согласен, что диагностика модели должна основываться на цели моделирования. Однако из вашего вступительного абзаца у меня сложилось впечатление, что вы считаете, что мы не должны проверять модели, которые мы подходим к данным. Я уверен, что это не то, что вы имели в виду. Кроме того, модель бинарной логистическая безусловно делает имеет дистрибутивные предположения! (наиболее очевидное существо , что существует только два значения для ответа)
probabilityislogic
3
Кроме предположения, что есть только 2 определенных возможных значения для Y, бинарная логистическая модель не имеет dist. предположения. Лично я не очень часто использую диагностические графики с логистической регрессией, вместо этого выбираю модели, которые достаточно гибки, чтобы соответствовать данным любым образом, размер выборки дает нам роскошь исследовать. В OLS основным диагностическим графиком, который я использую, является график qq для нормальности остатков.
Фрэнк Харрелл
С точки зрения обобщенной линейной модели логистическая модель возникает из биномиального распределения (распределение Бернулли). Но даже тогда трудно интерпретировать остатки.
New_to_this
Говорить о распределениях, когда случайная переменная может принимать только два значения (т. Е. Распределение Бернулли), бесполезно, потому что нет никакой возможности, чтобы предположение о распределении могло пойти неправильно, если наблюдения не являются независимыми.
Фрэнк Харрелл
1
@FrankHarrell Я понимаю, что вы знаете, о чем вы здесь говорите, но я не думаю, что из вашего поста / комментариев всему сообществу станет ясно, что неправильная спецификация линейного предиктора (или даже аддитивного предиктора в GAM Framework) может вызвать проблемы для логистической регрессии. Многие, возможно, не оценят, что это, как вы говорите, создает независимость данных. Когда учащиеся впервые сталкиваются с линейной регрессией, они учатся проверять остатки, не проводя различия между ошибочной спецификацией линейного предиктора и ошибочной спецификацией распределения ошибок.
Джейкоб Соколар
5

Этот поток довольно старый, но я подумал, что было бы полезно добавить, что с недавнего времени вы можете использовать пакет DHARMa R для преобразования остатков любого GL (M) M в стандартизированное пространство. После этого вы можете визуально оценить / проверить остаточные проблемы, такие как отклонения от распределения, остаточная зависимость от предиктора, гетероскедастичность или автокорреляция обычным способом. Смотрите виньетка пакета для проработанных примеров, а также другие вопросы по резюме здесь и здесь .

Флориан Хартиг
источник