В настоящее время я учу себя, как делать классификацию, и, в частности, я смотрю на три метода: опорные векторные машины, нейронные сети и логистическая регрессия. Я пытаюсь понять, почему логистическая регрессия будет лучше, чем две другие.
Исходя из моего понимания логистической регрессии, идея состоит в том, чтобы подогнать логистическую функцию ко всем данным. Поэтому, если мои данные являются двоичными, все мои данные с меткой 0 должны быть сопоставлены со значением 0 (или близко к нему), а все мои данные со значением 1 должны быть сопоставлены со значением 1 (или близко к нему). Теперь, поскольку логистическая функция является непрерывной и гладкой, выполнение этой регрессии требует, чтобы все мои данные соответствовали кривой; больше нет значения, применяемого к точкам данных вблизи границы принятия решения, и все точки данных вносят вклад в потерю в разной степени.
Однако с помощью машин опорных векторов и нейронных сетей важны только те точки данных, которые находятся вблизи границы принятия решения; до тех пор, пока точка данных остается на той же стороне границы решения, она будет вносить такую же потерю.
Поэтому, почему бы логистической регрессии когда-либо превосходить опорные векторные машины или нейронные сети, учитывая, что она «тратит впустую ресурсы» при попытке подогнать кривую к большому количеству неважных (легко классифицируемых) данных, вместо того, чтобы фокусироваться только на сложных данных при принятии решения? граница?
Ответы:
Ресурсы, которые вы считаете «потраченными впустую», на самом деле являются информацией, получаемой благодаря логистической регрессии. Вы начали с неправильной предпосылки. Логистическая регрессия не является классификатором. Это оценка вероятности / риска. В отличие от SVM, он допускает и ожидает «закрытые вызовы». Это приведет к оптимальному принятию решения, потому что оно не пытается обмануть прогнозный сигнал для включения функции полезности, которая неявна всякий раз, когда вы классифицируете наблюдения. Целью логистической регрессии с использованием оценки максимального правдоподобия является обеспечение оптимальных оценок вероятности . Результат используется многими способами, например, кривые подъема, оценка кредитного риска и т. Д. См. Книгу Нейта Сильвера « Сигнал и шум».( Y= 1 | Икс) для убедительных аргументов в пользу вероятностных рассуждений.
Обратите внимание, что зависимая переменная в логистической регрессии может быть закодирована любым способом: 0/1, A / B, да / нет и т. Д.Y
Основное предположение о логистической регрессии состоит в том, что является действительно двоичным, например, он не был получен из базовой порядковой или непрерывной переменной отклика. Это, как и методы классификации, предназначено для феноменов «все или ничего».Y
Некоторые аналитики считают, что логистическая регрессия предполагает линейность эффектов предикторов в шкале логарифмов. Это было верно только тогда, когда Д.Р. Кокс изобрел логистическую модель в 1958 году в то время, когда вычисления были недоступны для расширения модели с использованием таких инструментов, как сплайны регрессии. Единственная реальная слабость в логистической регрессии заключается в том, что вам нужно указать, какие взаимодействия вы хотите разрешить в модели. Для большинства наборов данных это превращается в силу, потому что аддитивные основные эффекты, как правило, являются гораздо более сильными предикторами, чем взаимодействия, а методы машинного обучения, которые дают равный приоритет взаимодействиям, могут быть нестабильными, трудными для интерпретации и требующими больших размеров выборки, чем логистическая регрессия для прогнозирования. Что ж.
источник
Вы правы, часто логистическая регрессия плохо работает в качестве классификатора (особенно по сравнению с другими алгоритмами). Однако это не означает, что логистическая регрессия должна быть забыта и никогда не изучаться, поскольку она имеет два больших преимущества:
Вероятностные результаты. Фрэнк Харрелл (+1) очень хорошо объяснил это в своем ответе.
источник