Я работаю над логистической моделью, и у меня возникают трудности с оценкой результатов. Моя модель - биномиальный логит. Мои объяснительные переменные: категориальная переменная с 15 уровнями, дихотомическая переменная и 2 непрерывные переменные. Мой N большой> 8000.
Я пытаюсь смоделировать решение фирм инвестировать. Зависимая переменная - это инвестиции (да / нет), 15 переменных уровня - это различные препятствия для инвестиций, о которых сообщают менеджеры. Остальные переменные - это контроль продаж, кредитов и использованной мощности.
Ниже приведены мои результаты, используя rmsпакет в R.
Model Likelihood Discrimination Rank Discrim.
Ratio Test Indexes Indexes
Obs 8035 LR chi2 399.83 R2 0.067 C 0.632
1 5306 d.f. 17 g 0.544 Dxy 0.264
2 2729 Pr(> chi2) <0.0001 gr 1.723 gamma 0.266
max |deriv| 6e-09 gp 0.119 tau-a 0.118
Brier 0.213
Coef S.E. Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33 <0.0001
x1=10 -0.4929 0.1000 -4.93 <0.0001
x1=11 -0.5735 0.1057 -5.43 <0.0001
x1=12 -0.0748 0.0806 -0.93 0.3536
x1=13 -0.3894 0.1318 -2.96 0.0031
x1=14 -0.2788 0.0953 -2.92 0.0035
x1=15 -0.7672 0.2302 -3.33 0.0009
x1=2 -0.5360 0.2668 -2.01 0.0446
x1=3 -0.3258 0.1548 -2.10 0.0353
x1=4 -0.4092 0.1319 -3.10 0.0019
x1=5 -0.5152 0.2304 -2.24 0.0254
x1=6 -0.2897 0.1538 -1.88 0.0596
x1=7 -0.6216 0.1768 -3.52 0.0004
x1=8 -0.5861 0.1202 -4.88 <0.0001
x1=9 -0.5522 0.1078 -5.13 <0.0001
d2 0.0000 0.0000 -0.64 0.5206
f1 -0.0088 0.0011 -8.19 <0.0001
k8 0.7348 0.0499 14.74 <0.0001 По сути, я хочу оценить регрессию двумя способами: а) насколько хорошо модель соответствует данным и б) насколько хорошо модель прогнозирует результат. Чтобы оценить степень соответствия (а), я думаю, что тесты отклонения, основанные на хи-квадрат, в этом случае не подходят, потому что число уникальных ковариат приближается к N, поэтому мы не можем предполагать распределение X2. Правильно ли это толкование?
Я могу видеть ковариаты, используя epiRпакет.
require(epiR)
logit.cp <- epi.cp(logit.df[-1]))
id n x1 d2 f1 k8
1 1 13 2030 56 1
2 1 14 445 51 0
3 1 12 1359 51 1
4 1 1 1163 39 0
5 1 7 547 62 0
6 1 5 3721 62 1
...
7446Я также читал, что GoF-тест Hosmer-Lemeshow устарел, так как он делит данные на 10 для выполнения теста, что довольно произвольно.
Вместо этого я использую тест Ле Сесси-ван Хоуилингена-Копаса-Хосмера, реализованный в rmsпакете. Я не совсем уверен, как именно проводится этот тест, я еще не читал статьи об этом. В любом случае, результаты таковы:
Sum of squared errors Expected value|H0 SD Z P
1711.6449914 1712.2031888 0.5670868 -0.9843245 0.3249560P большое, поэтому нет достаточных доказательств того, что моя модель не подходит. Большой! Тем не мение....
При проверке прогностической способности модели (b) я рисую ROC-кривую и нахожу, что AUC есть 0.6320586. Это выглядит не очень хорошо.
Итак, подведем итог моим вопросам:
Тесты, которые я запускаю, подходят для проверки моей модели? Какой еще тест я могу рассмотреть?
Считаете ли вы модель полезной вообще или отклоните ее, основываясь на относительно плохих результатах анализа ROC?
источник
x1должны быть приняты в качестве единственной категориальной переменной? То есть в каждом случае должно быть 1 и только 1 «препятствие» для инвестирования? Я думаю, что в некоторых случаях можно столкнуться с 2 или более препятствиями, а в некоторых случаях их нет.Ответы:
Существует много тысяч тестов, которые можно применить для проверки модели логистической регрессии, и многое из этого зависит от того, является ли цель целью - прогнозирование, классификация, выбор переменных, вывод, причинное моделирование и т. Д. Например, тест Хосмера-Лемешоу оценивает калибровка модели и соответствие прогнозируемых значений прогнозируемой частоте при делении на децили риска. Хотя выбор 10 является произвольным, тест имеет асимптотические результаты и может быть легко изменен. HL-тест, как и AUC, дают (на мой взгляд) очень неинтересные результаты при расчете по тем же данным, которые использовались для оценки модели логистической регрессии. Это удивительно, что такие программы, как SAS и SPSS, часто сообщают статистику для совершенно разных анализов. де-фактоспособ представления результатов логистической регрессии. Тесты точности прогнозирования (например, HL и AUC) лучше использовать с независимыми наборами данных или (даже лучше) данными, собранными за разные периоды времени, для оценки прогнозирующей способности модели.
Другой момент, который нужно сделать, - это то, что предсказание и умозаключение - это очень разные вещи Не существует объективного способа оценки прогноза, AUC 0,65 очень хорош для прогнозирования очень редких и сложных событий, таких как риск рака молочной железы в течение 1 года. Точно так же умозаключения могут быть обвинены в том, что они были произвольными, потому что традиционная ложная положительная ставка 0,05 просто распространена.
Если бы я был вами, описание вашей проблемы, казалось бы, интересовало моделирование эффектов, о которых менеджер сообщал о «препятствиях» в инвестировании, поэтому сфокусируйтесь на представлении ассоциативно скорректированных моделей. Представьте точечные оценки и 95% доверительные интервалы для модельных отношений шансов и будьте готовы обсудить их значение, интерпретацию и обоснованность с другими. Лесной участок - эффективный графический инструмент. Вы также должны показать частоту этих препятствий в данных и представить их опосредование другими корректирующими переменными, чтобы продемонстрировать, была ли возможность смешивания малой или большой в нескорректированных результатах. Я хотел бы пойти еще дальше и исследовать такие факторы, как альфа Кронбаха, для согласованности между сообщениями менеджера о препятствиях, чтобы определить, склонны ли менеджеры сообщать о подобных проблемах, или,
Я думаю, что вы слишком сосредоточены на цифрах, а не на вопрос под рукой. 90% хорошей статистической презентации происходит до того, как будут представлены результаты модели.
источник