Предположим, что модель логистической регрессии используется для прогнозирования того, будет ли покупатель онлайн покупать продукт (результат: покупка) после того, как он нажал на набор онлайн-рекламы (предикторы: Ad1, Ad2 и Ad3).
Результатом является двоичная переменная: 1 (купленная) или 0 (не приобретенная). Предикторами являются также двоичные переменные: 1 (нажата) или 0 (не нажата). Таким образом, все переменные находятся в одном масштабе.
Если полученные коэффициенты Ad1, Ad2 и Ad3 равны 0,1, 0,2 и 03, можно сделать вывод, что Ad3 важнее, чем Ad2, а Ad2 важнее, чем Ad1. Кроме того, поскольку все переменные имеют одинаковую шкалу, стандартизированные и нестандартизированные коэффициенты должны быть одинаковыми, и мы также можем сделать вывод, что Ad2 вдвойне важнее Ad1 с точки зрения его влияния на уровень logit (log-odds).
Но на практике нас больше интересует, как сравнивать и интерпретировать относительную важность переменных с точки зрения уровня p (вероятности покупки), а не логита (log-odds).
Таким образом, возникает вопрос: существует ли какой-либо подход для количественной оценки относительной важности этих переменных в терминах p?
источник
Ответы:
Для линейных моделей вы можете использовать абсолютное значение t-статистики для каждого параметра модели.
Кроме того, вы можете использовать что-то вроде случайного Forrest и получить очень хороший список функций функций.
Если вы используете проверку R ( http://caret.r-forge.r-project.org/varimp.html ), если вы используете проверку Python ( http://scikit-learn.org/stable/auto_examples /ensemble/plot_forest_importances.html#example-ensemble-plot-forest-importances-py )
РЕДАКТИРОВАТЬ:
Поскольку у logit нет прямого способа сделать это, вы можете использовать ROC-кривую для каждого предиктора.
Пример того, как это работает в R:
источник
Поскольку вы специально просили интерпретацию по шкале вероятностей: в логистической регрессии предполагаемая вероятность успеха определяется как
С перехватом, вектором коэффициента и вашими наблюдаемыми значениями. Таким образом, если ваши коэффициенты равны 0,1, 0,2 и 0,3 и предполагается, что нет перехвата (скорее всего, неправильный, но для простоты), вероятность покупки для человека, который нажал только на объявление 1:β0 β x
Человек, который нажал только на объявление 3:
Однако, если человек нажал на объявление 1 или объявление 3, а также объявление 2 (если это сценарий с плацебо), вероятность становится
В этом случае изменение вероятности равно 0,05, но обычно это изменение не одинаково для разных комбинаций уровней. (Это легко увидеть, например, если вы используете тот же подход, что и выше, но с коэффициентами 0,1, 1,5, 0,3.) Таким образом, важность переменной на шкале вероятностей зависит от наблюдаемых уровней других переменных. Это может затруднить (невозможно?) Придумать абсолютную количественную меру важности переменных на шкале вероятностей.
источник