Предположим, что я построил модель прогнозирования возникновения конкретной болезни в одном наборе данных (набор данных построения модели) и теперь хочу проверить, насколько хорошо модель работает в новом наборе данных (набор данных проверки). Для модели, построенной с логистической регрессией, я рассчитал бы прогнозируемую вероятность для каждого человека в наборе данных проверки на основе коэффициентов модели, полученных из набора данных для построения модели, и затем, после дихотомии этих вероятностей при некотором предельном значении, я мог бы построить таблицу 2x2 это позволяет мне рассчитывать истинную положительную оценку (чувствительность) и истинную отрицательную оценку (специфичность). Кроме того, я могу построить всю кривую ROC, изменяя срез, а затем получить AUC для графика ROC.
Теперь предположим, что у меня есть данные о выживании. Итак, я использовал модель пропорциональных рисков Кокса в наборе данных построения модели и теперь хочу проверить, насколько хорошо модель работает в наборе данных проверки. Поскольку базовый риск не является параметрической функцией в моделях Кокса, я не вижу, как я могу получить прогнозируемую вероятность выживания для каждого человека в наборе данных проверки на основе коэффициентов модели, полученных в наборе данных построения модели. Итак, как я могу проверить, насколько хорошо модель работает в наборе данных проверки? Существуют ли установленные методы для этого? И если да, реализованы ли они в каком-либо программном обеспечении? Спасибо заранее за любые предложения!
источник
Я знаю, что этот вопрос довольно старый, но я столкнулся с той же проблемой, когда использовал функцию прогнозирования, чтобы получить «оценку» для каждого субъекта в наборе валидации. Затем последовало разделение субъектов в зависимости от того, был ли балл выше или ниже среднего, и построение кривой Каплана-Мейера. Это должно показать разделение предметов, если ваша модель является прогностической. Я также проверил корреляцию оценки (фактически ее ln [для нормального распределения]) с выживанием, используя функцию Кокша из пакета выживания в R.
источник