Я имею в виду вопрос и его ответы: как сравнить (вероятностную) прогностическую способность моделей, разработанных на основе логистической регрессии? @ Clark Chong и ответы / комментарии @Frank Harrell. и к вопросу о Степени свободы в тесте Хосмера-Лемешоу и комментариях.
Я прочитал статью DW Hosmer, T. Hosmer, S. Le Cessie, S. Lemeshow, «Сравнение тестов на пригодность для модели логистической регрессии», Statistics in Medicine, Vol. 16, 965-980 (1997) .
После прочтения я был сбит с толку, потому что вопрос, на который я ссылался, явно спрашивает о «(вероятностной) способности к предсказанию», что, на мой взгляд, не совпадает с тем, на что нацелены критерии качества соответствия в статье выше:
Как большинство из нас знает, логистическая регрессия предполагает S-образную связь между объясняющими переменными и вероятностью успеха, функциональная форма для S-формы
Не претендуя на то, что в тесте Хосмера – Лемешова нет недостатков, я думаю, что мы должны различать тесты на (а) «(вероятностную) предсказательную способность » и (б) « добротность соответствия ».
Цель первого - проверить, хорошо ли предсказаны вероятности, в то время как тесты на пригодность соответствия проверяют, является ли приведенная выше S-образная функция «правильной». Более формально:
- тесты для «тестов на способность прогнозировать вероятность» имеют утверждающий, что вероятности успеха хорошо предсказываются моделью;
- в то время как для тестов на пригодность (см. Hosmer et. al.) S-образная функциональная форма выше является правильной. Хосмер и соавт. выполнить моделирование, где они находят способность обнаруживать два типа отклонений от нуля, а именно, что функция связи неправильна или что показатель степени в знаменателе не является линейным.
Очевидно, что если вышеуказанная функция имеет «правильную» функциональную форму (поэтому, если тесты заключают, что мы можем принять для теста на соответствие критерия соответствия), то прогнозируемые вероятности будут хорошими, ...
Первое замечание
... однако принятие является слабым выводом, как объяснено в разделе Что следует, если мы не сможем отвергнуть нулевую гипотезу? ,
Первый вопрос
Самый важный вопрос / замечание, которое у меня есть, заключается в том, что если отклонение критерия качества отклонено, то вывод теста состоит в том, что функциональная форма не была «правильной», однако, означает ли это, что вероятности не очень хорошо предсказано?
Второй вопрос
Кроме того, я хочу указать на выводы Hosmer et. аль; (Я цитирую из резюме):
«Проверка эффективности тестов, когда правильная модель имеет квадратичный термин, но модель, содержащая только линейный термин, подходит, показывает, что хи-квадрат Пирсона, невзвешенная сумма квадратов, дециль Хосмера-Лемешоу риска, сглаженная остаточная сумма квадратов и критерий оценки Стукеля имеют мощность, превышающую 50%, для обнаружения умеренных отклонений от линейности, когда размер выборки равен 100, и имеют мощность более 90% для тех же самых альтернатив для выборок размером 500 Все тесты не имели силы, когда правильная модель имела взаимодействие между дихотомической и непрерывной ковариатой, но подходила только непрерывная ковариатная модель. Способность обнаружить неправильно заданную ссылку была плохой для образцов размером 100. Для образцов размером 500 Stukel ' Тест с оценками показал лучшую мощность, но он превысил 50% для определения функции асимметричной связи. Мощность теста невзвешенных сумм квадратов для обнаружения неправильно заданной функции связи была немного меньше, чем критерий оценки Стукеля ''
Можно ли из этого сделать вывод, какой тест имеет большую мощность или что Хосмер-Лемешоу имеет меньшую мощность (для обнаружения этих специфических аномалий)?
Второе замечание
Статья Hosmer et. и др. что я упомянул выше, вычислить (смоделировать) мощность для обнаружения определенных аномалий (мощность может быть вычислена, только если указан ). По моему мнению, это не означает, что эти результаты могут быть обобщены на «все возможные альтернативы »?H 1