Зачем делать преобразование WOE категориальных предикторов в логистической регрессии?

10

Когда полезно преобразование весовых доказательств (WOE) категориальных переменных?

Пример можно увидеть в трансформации WOE

(Таким образом, для ответа , & категорического предиктора с категориями & из испытаний в й категории этого предиктора, WOE для й категории определяется как $y$ $k$ $y_j$ $n_j$ $j$ $j$

журнал \frac{Y_{J}}{Σ_{J}^{К} Y_{J}} \frac{Σ_{J}^{К} (N_{J} - Y_{J})}{N_{J} - Y_{J}}

$\log \frac{y_j} {\sum_j^k {y_j}} \frac{\sum_j^k (n_j-y_j)}{n_j-y_j}$

& преобразование состоит из кодирования каждой категории категориального предиктора с его WOE для формирования нового непрерывного предиктора.)

Я хотел бы узнать причину, почему трансформация WOE помогает логистической регрессии. Какая теория стоит за этим?

logistic categorical-data regression-strategies Адам
источник

6

В примере, на который вы ссылаетесь, категориальный предиктор представлен единственной непрерывной переменной, принимающей значение для каждого уровня, равное наблюдаемым коэффициентам регистрации ответа на этом уровне (плюс константа):

\log \frac{y_{j}}{n_{j} - y_{j}} + \log \frac{\sum_{j}^{k} (n_{j} - y_{j})}{\sum_{j}^{k} y_{J}}

$\log \frac{y_j} {n_j-y_j} + \log \frac{\sum_j^k (n_j-y_j)}{\sum_j^k {y_j}}$

Это запутывание не служит какой-либо цели, о которой я могу думать: вы получите такой же предсказанный ответ, как если бы вы использовали обычное фиктивное кодирование; но степени свободы неверны, лишая законной силы несколько полезных форм заключения о модели.

В множественной регрессии с несколькими категориальными предикторами для преобразования, я полагаю, вы рассчитали бы WOE для каждого, используя маржинальные шансы. Это изменит предсказанные ответы; но так как смешивание не принимается во внимание - условные логарифмические коэффициенты не являются линейной функцией предельных логарифмических коэффициентов - я не вижу причин полагать, что это улучшение, и логические проблемы остаются.

Scortchi - Восстановить Монику
источник

Можете ли вы объяснить, почему степень свободы не так с WOE? Это просто трансформация верно? Кроме того, что если бы у нас было несколько категориальных переменных, и мы получили WOE для каждой из них по одной? По моему опыту, когда у вас много категориальных переменных, некоторые сегменты между разными переменными многократно перекрываются, и вы начинаете видеть некоторые коэффициенты, которые незначительны. А также вам нужно иметь при себе несколько коэффициентов.

Адам

1

(1) Преобразование, которое зависит от оценки отношения предикторов к ответу - то, что должно быть оставлено на усмотрение регрессии. Так, например, статистика теста отношения правдоподобия не будет иметь такое же распределение, как при предварительном задании преобразования. (2) Хорошая мысль! - множественная регрессия на WOE не будет эквивалентна регрессии на фиктивных переменных (если модели не насыщены). (3) И что? (4) Коэффициенты не тяжелее, чем WOE.

Scortchi - Восстановить Монику

Я предполагаю, что WoE пережил те времена, когда вычисления были большей проблемой, чем сегодня. Так что, возможно, с категориальными предикторами с МНОГИМИ уровнями преобразование в числовую переменную было блестящей идеей!

Къетил б Халворсен

1

Грубая классификация, использующая меру веса доказательств (WoE), имеет следующее преимущество: WoE отображает линейную зависимость с натуральным логарифмом отношения шансов, который является зависимой переменной в логистической регрессии.
Поэтому вопрос о неправильной спецификации модели не возникает в логистической регрессии, когда мы используем WoE вместо фактических значений переменной.

$ln(p/1-p)$ = + * + * + * $\alpha$ $\beta$ $WoE(Var1)$ $\gamma$ $WoE(Var2)$ $\eta$ $WoE(Var3 )$

Источник: в одном из PPT мой тренер показал мне во время обучения компании.

Срикант Гухан
источник

2

«Неправильная спецификация модели не возникает в логистической регрессии, когда мы используем WoE вместо фактических значений переменной». Можете ли вы объяснить / доказать это математически?

Адам

Я не из аналитики риска, но, похоже, так написано в 131 131 этой книге books.google.co.in/…

Срикант Гухан,

Также эта ссылка претендует на то же самое, хотя математика не объясняется analyticbridge.com/forum/topics/…

Срикант Гухан

1

Спасибо за ссылки, но совершенно не соответствует действительности то, что предельные логарифмические коэффициенты, которым пропорционален WoE, линейно связаны с условными логарифмическими коэффициентами, с которыми связана логистическая регрессия. Смешение с другими предикторами может даже привести к разным категориям упорядочения WoE.

Scortchi - Восстановить Монику

1

Преобразования WOE помогают, когда у вас есть как числовые, так и категориальные данные, которые необходимо объединить, и пропущенные значения, из которых вы хотите извлечь информацию. Преобразование всего в WOE помогает «стандартизировать» множество различных типов данных (даже отсутствующих данных) в одном и том же масштабе журнала. Это сообщение в блоге объясняет вещи достаточно хорошо: http://multithreaded.stitchfix.com/blog/2015/08/13/weight-of-evidence/

Суть в том, что Логистическая регрессия с WOE должна просто называться (и называется) полунаивным наивным байесовским классификатором (SNBC). Если вы пытаетесь понять алгоритм, название SNBC для меня гораздо более информативно.

Stephened
источник

Зачем делать преобразование WOE категориальных предикторов в логистической регрессии?

Ответы: