Хеширование - что на самом деле происходит

Когда алгоритмы ML, например, Vowpal Wabbit или некоторые из машин факторизации, побеждающих в конкурсе кликов ( Kaggle ), упоминают, что функции «хэшированы», что это на самом деле означает для модели? Допустим, есть переменная, которая представляет идентификатор интернет-добавления, который принимает значения, такие как «236BG231». Тогда я понимаю, что эта функция хэшируется в случайное целое число. Но мой вопрос:

• Используется ли в модели целое число в качестве целого (числового) ИЛИ
• действительно ли хэшированное значение все еще обрабатывается как категориальная переменная с горячим кодированием? Таким образом, хитрость заключается в том, чтобы как-то сэкономить пространство с большими данными?

Второй пункт - это значение в хешировании объектов. Хеширование и одно горячее кодирование для разреженных данных экономят место. В зависимости от алгоритма хеширования вы можете иметь различные степени столкновений, которые действуют как уменьшение размерности.

Кроме того, в конкретном случае хеширование объектов Kaggle и одно горячее кодирование помогают в расширении / разработке функций, принимая все возможные кортежи (обычно только второго порядка, а иногда и третьего) функций, которые затем хэшируются со столкновениями, которые явно создают взаимодействия, которые часто являются прогнозирующими. тогда как индивидуальных особенностей нет.

В большинстве случаев этот метод в сочетании с выбором признаков и упорядоченной упругой сеткой в ​​LR действует очень похоже на NN с одним скрытым слоем, поэтому он довольно хорошо работает в соревнованиях.