26

У меня есть набор данных с набором функций. Некоторые из них являются двоичными активен или запущен, неактивен или неактивен), а остальные являются действительными, например, . $(1=$ $0=$ $4564.342$

Я хочу , чтобы кормить эти данные для алгоритма машинного обучения, так что я -score всех вещественных функций. Я получаю их между диапазонами и примерно. Теперь двоичные значения также скорированы, поэтому нули становятся а единицы - . $z$ $3$ $-2$ $z$ $-0.222$ $0.5555$

Имеет ли смысл такая стандартизация бинарных переменных?

machine-learning normalization binary-data siamii
источник

15

Бинарную переменную со значениями 0, 1 можно (обычно) масштабировать до (значение - среднее) / SD, что, вероятно, является вашим z-счетом.

Самым очевидным ограничением этого является то, что если вам удастся получить все нули или все единицы, то включение SD-карты вслепую означало бы, что z-оценка является неопределенной. Существует также случай назначения нуля, поскольку значение - среднее значение равно нулю. Но многие статистические вещи не будут иметь большого смысла, если переменная действительно является константой. В целом, однако, если SD невелик, существует больший риск того, что оценки будут нестабильными и / или не будут точно определены.

Проблема в том, чтобы дать лучший ответ на ваш вопрос, заключается именно в том, какой «алгоритм машинного обучения» вы рассматриваете. Это звучит так, как будто это алгоритм, который объединяет данные для нескольких переменных, и поэтому обычно имеет смысл предоставлять их в одинаковых масштабах.

(ПОЗЖЕ) Поскольку оригинальный постер добавляет комментарии один за другим, их вопрос превращается. Я все еще считаю, что (значение - среднее) / SD имеет смысл (то есть не является бессмысленным) для бинарных переменных, пока SD является положительным. Тем не менее, логистическая регрессия была позже названа как приложение, и для этого нет теоретической или практической выгоды (и даже некоторой потери простоты) в чем-либо, кроме подачи двоичных переменных как 0, 1. Ваше программное обеспечение должно быть в состоянии хорошо справляться с что; если нет, откажитесь от этого программного обеспечения в пользу программы, которая может. С точки зрения заглавного вопроса: можно, да; должен, нет.

Ник Кокс
источник

3

Короткий ответ: это ничего не значит по-другому, и я не вижу причин, почему изменение 0, 1 на z-показатели поможет чему-либо в этой ситуации. Чтобы убедить себя, попробуйте оба варианта и убедитесь, что ничего важного не меняется.

Ник Кокс

3

Наоборот, я думаю, что большинство людей будут использовать 0, 1 здесь.

Ник Кокс

1

Когда вы выполняете логистическую регрессию, программное обеспечение почти наверняка выполнит стандартизацию под капотом (для достижения лучших числовых свойств). Таким образом, это хорошая идея, чтобы сохранить бинарный индикатор в значимой форме. Стандартизация не звучит ни хорошо, ни полезно.

whuber

1

Любой метод машинного обучения, который требует от вас «стандартизации» двоичных предикторов, является подозрительным.

Фрэнк Харрелл

2

Поскольку это ваша собственная реализация, то никто не может дать вам объективный ответ! Вам необходимо проверить, как ваше программное обеспечение обрабатывает данные, чтобы решить, имеет ли смысл предварительная стандартизация.

uber

14

Стандартизация бинарных переменных не имеет никакого смысла. Значения являются произвольными; они ничего не значат сами по себе. Может быть обоснование выбора некоторых значений, таких как 0 и 1, в отношении проблем числовой стабильности, но это так.

Gung - Восстановить Монику
источник

что если бы они были между 0-100. Как я уже сказал, они означают такие вещи, как «распознанное лицо» и «неопознанное лицо», а 0-100 означает уровень доверия. Имеет ли смысл z-Score это?

Сиамии

Ваш пример 0-100 звучит как порядковый рейтинг. Есть немного подробностей относительно того, как лучше всего справляться с этой ситуацией, и это довольно часто обсуждается в резюме. Поиск по порядковому тегу, чтобы узнать больше.

gung - Восстановить Монику

проблема в том, что только некоторые переменные имеют значение 0-100. Другие, например, -400 - +400

Сиамия

В чем проблема с этим? Это проблема численной стабильности?

gung - Восстановить Монику

Может быть, вы предлагаете мне не z-счет?

Сиамии

3

Один хороший пример, где может быть полезно стандартизировать немного другим способом, приведен в разделе 4.2 Gelman and Hill ( http://www.stat.columbia.edu/~gelman/arm/ ). Это в основном, когда интерес представляет интерпретация коэффициентов, и, возможно, когда не так много предикторов.

\frac{x - μ_{x}}{2 σ_{x}},

$\frac{x-\mu_x}{2\sigma_x},$

σ

$\sigma$

\pm 0.5

$\pm 0.5$

x = 0

$x=0$

x = 1

$x=1$

σ

$\sigma$

x

$x$

Ученик госсета
источник

Пожалуйста, объясните «с равным соотношением 0 и 1», так как двоичные переменные, которые я вижу, редко бывают такими.

Ник Кокс

Я не думаю, что пропорция на самом деле будет иметь значение, они просто используют ее, чтобы сделать пример чище.

Студент Госсета

1

Что вы хотите стандартизировать, двоичную случайную переменную или пропорцию?

$Y:S\rightarrow \mathbb{R}$ $Y\in \lbrace 0,1\rbrace$

$X\in[0,1]$ $x\in \mathbb{R}^+$

QAChip
источник

0

В логистической регрессии бинарные переменные могут быть стандартизированы для объединения их с непрерывными переменными, когда вы хотите дать всем им неинформативный априор, такой как N ~ (0,5) или Коши ~ (0,5). Рекомендуется стандартизация следующим образом: возьмите общее количество и дайте

1 = пропорция 1

0 = 1 - пропорция 1.

-----

Редактировать: На самом деле я был не прав, это не стандартизация, а смещение, которое должно быть сосредоточено на 0 и отличаться на 1 в нижнем и верхнем состояниях, скажем, что население составляет 30% в компании А и 70% в другом, мы можем определить центрированную переменную «Компания А», чтобы принимать значения -0,3 и 0,7.

Карлос СТ
источник

Не могу понять это как стандартизацию.

Майкл Р. Черник

Стоит ли когда-нибудь стандартизировать бинарные переменные?

Ответы:

-----