Hosmer-Lemeshow против AIC за логистическую регрессию

12

Если Hosmer-Lemeshow указывает на отсутствие соответствия, но AIC является самым низким среди всех моделей .... следует ли вам использовать модель?

Если я удаляю переменную, статистика Хосмера-Лемешоу не будет значимой (это означает, что нет полного отсутствия соответствия). Но АПК увеличивается.

Изменить : Я думаю, в общем, если AIC разных моделей близки (то есть ) друг к другу, то они в основном одинаковы. Но АПК сильно отличаются. Похоже, это указывает на то, что я должен использовать тот, у кого самый низкий AIC, хотя тест Хосмера-Лемешоу показывает иное.<2

Также, может быть, тест HL применяется только для больших образцов? Он имеет низкую мощность для небольших размеров выборки (мой размер выборки ~ 300). Но если я получаю значительный результат ... Это означает, что даже при низкой мощности я получаю отказ.

Будет ли иметь значение, если я буду использовать AICc против AIC? Как вы получаете AICc в SAS? Я знаю, что могут быть проблемы с множественностью. Но априори я предполагаю, что переменные влияют на результат.

Любые комментарии?

Edit2 : я думаю, что я должен использовать модель с одной меньшей переменной и более высоким AIC с незначительным HL. Причина в том, что две переменные связаны друг с другом. Так что избавиться от одного имеет смысл.

regression logistic hosmer-lemeshow-test Томас
источник
Учтите, что все ваши модели могут быть нежелательными.
@mbq: Как это поможет?
Томас
2
Хорошо, что даже в группе несущественных моделей есть одна с лучшим AIC. В любом случае, пожалуйста, не используйте ответы, чтобы расширить свой вопрос.

Ответы:

12

Тест Хосмера-Лемешоу в некоторой степени устарел, поскольку требует произвольного биннирования прогнозируемых вероятностей и не обладает превосходной способностью обнаруживать отсутствие калибровки. Это также не в полной мере наказывает за чрезмерное оснащение модели. Доступны лучшие методы, такие как Hosmer, DW; Хосмер, Т .; Ле Сесси, С. & Лемешоу, С. Сравнение критериев соответствия для модели логистической регрессии. Статистика в медицине , 1997, 16 , 965-980. Их новая мера реализована в Rrmsпакет. Что еще более важно, этот вид оценки касается только общей калибровки модели (соответствие между предсказанным и наблюдаемым) и не учитывает отсутствие соответствия, такое как неправильное преобразование предиктора. В этом отношении также не подходит AIC, если вы не используете AIC для сравнения двух моделей, где одна более гибкая, чем другая, которая тестируется. Я думаю, что вас интересует прогностическая дискриминация, для которой более подходящей может быть обобщенная мера , дополненная -индексом (область ROC). cR2c

Фрэнк Харрелл
источник
Таким образом, было бы лучше использовать критерий отношения правдоподобия для оценки соответствия модели с низким AIC? Потому что этот тест показывает, что недостатка в подгонке нет.
Томас
Глядя на AIC более 2 моделей приведет к некоторому смещению / переоснащению выбора. AIC не дает четкой оценки пригодности, за исключением случаев, которые я приводил выше. Наилучшим способом оценки соответствия является демонстрация хорошей калибровки с использованием непрерывного гладкого непараметрического калибровочного графика и показа небольшого количества свидетельств для более сложных компонентов, которые могли бы сделать прогноз модели лучше.
Фрэнк Харрелл
Предполагая, что у меня нет доступа к любому из этих инструментов. Модель A, которая имеет незначительный тест HL, также имеет одну меньшую переменную, чем Модель B, которая имеет значительный тест HL. Я сравниваю только эти две модели. Модель A имеет самый низкий AIC, а модель B имеет намного более высокий AIC.
Томас
Я имел в виду, что модель B имеет самый низкий AIC, а модель A имеет намного более высокий AIC.
Томас
2
rmsP