Как называется «горячая» кодировка в научной литературе?

10

Как называется оператор, который берет категориальный вектор и преобразует его в двоичное представление, используя горячее кодирование? Я задаюсь вопросом, так как я пишу научную статью и нужное имя для этого.

квантиль
источник
3
Фиктивная кодировка - это другое имя. В машинном обучении каждый просто использует один простой тип, так что довольно ясно, что это такое, но есть другие типы контрастного кодирования (другое имя) с минусами и другими идеями, которые выполняют аналогичную роль, используются в статистике и т. Д. Вы можете быть немного более конкретным.
Gijs
7
В статистике и анализе данных задолго до машинного обучения этот тип категориального кодирования был известен как фиктивные переменные или контрастные переменные типа индикатора .
ttnphns

Ответы:

18

Статистики называют одноразовое кодирование фиктивным . Как и предполагали другие (включая Scortchi в комментариях), это не точный синоним, но это термин, который обычно используется для закодированных 0-1 категориальных переменных.

См. Также: «фиктивная переменная» против «индикаторной переменной» для номинальных / категориальных данных

Тим
источник
3
Duh !! Не могу поверить, что я забыл это. Я также называю их индикаторами.
Тим Атрейдес
2
Я не думаю, что «фиктивное кодирование» является хорошим синонимом. Это либо используется в общем смысле для обозначения представляющих собой категориального переменным с набором числовых переменными, или для «эталонного уровня кодирования» в отличие от «один-горячего кодирования», например , в задачах с одной горячего кодированием по сравнению с фиктивным кодированием , «Кодирование по уровню означает» (см. Есть ли в регрессионных моделях то, что называется «средним кодированием» (например, фиктивное кодирование и кодирование эффектов) ), обозначает горячее кодирование, но, возможно, также обозначает контекст линейной модели ...
Scortchi - Reinstate Моника
2
... сильно для общего пользования.
Scortchi - Восстановить Монику
3
Я никогда не видел определения само по себе, но для меня фиктивные переменные в статистике всегда подразумевают кодирование N факторов с (N-1) переменными, тогда как одноразовое кодирование будет кодировать N факторов с N переменными. Эта разница чрезвычайно важна на практике. Если для регрессий использовать одно горячее кодирование, можно получить глупость из-за зависимости переменных!
Мех
2
@aginensky Хотя люди, безусловно, должны обращать внимание на то, какие именно переменные у них есть, хорошая процедура регрессии не приведет к бессмысленности в таких обстоятельствах: она просто пропустит одного предиктора и скажет вам об этом.
Ник Кокс
8

Это зависит от вашей целевой аудитории.

Как сказал Тим , статистики называют это фиктивным кодированием, и это то, что я ожидаю увидеть при описании чего-то вроде регрессионной модели. «Фиктивные переменные были включены, чтобы отрегулировать местоположение магазина». Я думаю, что назвать это горячим кодированием будет немного странно.

Однако, как сказал другой Тим , горячая кодировка довольно распространена в литературе по машинному обучению. Это слабо подразумевает существование узлов (как в нейронной сети), физических проводов (в устройстве) или что-то в этом роде, по крайней мере для меня.

Формально, я полагаю, вы применяете набор индикаторных функций , но это, вероятно, слишком формально вне доказательства.IX

Мэтт Краузе
источник
6

Термин происходит от электроники. Подумать только, кто бы назвал 1 "горячим" Только те, кто работает с электричеством, где «горячий» или «живой» означает, что на проводе есть электрический потенциал . «Один горячий» относится к конструкции схемы, в которой дискретный уровень электрического сигнала на одном проводе будет декодирован как горячий / холодный на множестве проводов. Я полагаю, что некоторые люди, обучающиеся машинному обучению с опытом в области ЭЭ, нашли аналогию убедительной.

В эконометрике и статистике вы можете встретить dummyили indicatorпеременные, которые очень похожи, потому что они используются для представления отдельных категорий с их различными показателями. Хотя есть небольшая разница. Например, вы делаете манекены K-1 для K категорий, потому что базовая категория соответствует всем манекенам, установленным на 0. В отличие от этого, я думаю, что в одном горячем кодировании у вас есть K проводов, где у базовой категории будет свой собственный провод ( переменная).

Аксакал
источник
5

Я статистически обучен, и недавно слышал о «горячем кодировании» в машинном обучении / компьютерной науке. Я обычно упоминал однонаправленную матрицу как матрицу проекта / матрицу данных / структуру кадра.

Тим Атрейдес
источник
У вас есть ссылка, которую я мог бы привести для этого? Я пишу научную публикацию и хотел бы прояснить этот метод для всех читателей, поскольку статья предназначена не для сообщества ML, а для более широкой аудитории.
квантиль
Не могу сказать, что я когда-либо слышал "горячий" как глагол. Но я также пришел к этому с математической / статистической точки зрения. (Результаты Google на тему «одна горячая» интересны - я получаю смесь значения машинного обучения и людей, говорящих об «одной горячей машине».)
Майкл Луго,
3

В физических науках и технике это называется (обобщенная) дельта Кронекера .

В простейшей форме, дельта Кронекера это определяется как хотя это тривиально обобщается на б [ состояние ]{ 1 , если [ состояние ] 0 остальное .

δi,j{1ifi=j0else,
δ[condition]{1if[condition]0else.

Таким образом, « » будет иметь тенденцию восприниматься как δ i категория{ 1, если i категория 0 иначе , что большинство авторов будет стремиться усечь до « δ i », если категория очевидна из контекста.δicategory

δicategory{1ificategory0else,
δi

Дельта Кронекера действительно полезна в Sigma / Pi / Einstein / etc. обозначения, так как это позволяет условия быть определены условно.

Просто чтобы связать это с общими структурами программирования, дельтой Кронекера condition?1:0, где ?:находится условный оператор .


δi,jδi=j

натуральный
источник
Я не вижу ссылку здесь. Один горячий декодирует одну переменную в набор для каждого состояния переменной. Как дельта Кронекера используется в этом приложении?
Аксакал
{0,1}δVWδAcuraδHonda
δi,jδCompanyName,VW
VWACURAi=1..NVWiACURAiiCARiVWi=δ(CARi,VW)
VWiδVWiδiVWi10
2

1K

Вот цитата из книги,

K1KKxxk10K=6x3=1x

x=(0,0,1,0,0,0)T

kedarps
источник