Разница между логистической регрессией и машинами опорных векторов?

14

Я знаю, что логистическая регрессия находит гиперплоскость, которая разделяет тренировочные образцы. Я также знаю, что опорные векторные машины находят гиперплоскость с максимальным запасом.

Мой вопрос: есть ли разница между логистической регрессией (LR) и машинами опорных векторов (SVM) в том, что LR находит любую гиперплоскость, которая разделяет обучающие выборки, в то время как SVM находит гиперплоскость с максимальным запасом? Или я не прав?

Примечание: напомним, что в LR, когда логистическая функция дает . Если мы примем в качестве порога классификации, то является гиперплоскостью или границей решения.θИксзнак равно00,50,5θИксзнак равно0

Джек Твен
источник
Смотрите также: stats.stackexchange.com/questions/23391/…
Райан Зотти

Ответы:

8

Вы правы, если говорите о жестких SVM, и эти два класса линейно разделимы. LR находит любое решение, которое разделяет два класса. Hard SVM находит «то самое» решение среди всех возможных, которое имеет максимальный запас.

В случае мягкого SVM и классов, не являющихся линейно разделимыми, вы по-прежнему правы с небольшой модификацией. Ошибка не может стать нулевой. LR находит гиперплоскость, которая соответствует минимизации некоторой ошибки. Soft SVM пытается минимизировать ошибку (другую ошибку) и в то же время обменивает эту ошибку с маржой через параметр регуляризации.

Одно из различий между ними: SVM - жесткий классификатор, а LR - вероятностный. SVM редкий. Он выбирает опорные векторы (из обучающих образцов), которые имеют наиболее различающую силу между двумя классами. Так как во время теста он не удерживает другие тренировочные точки, мы не имеем представления о распределении какого-либо из этих двух классов.

Я объяснил, как решение LR (с использованием IRLS) ломается в случае линейной отделимости двух классов и почему оно перестает быть вероятностным классификатором в таком случае: /stats//a/133292/66491

SEEDA
источник
3
Какой тип наименьших квадратов оптимизирует логистическая регрессия? LR использует кросс-энтропию как потерю.
Артем Соболев
1
просто потому, что логистическая регрессия использует IRLS, что не означает, что это наименьшие квадраты, - пересчет в IRLS является функцией текущей оценки параметров, что делает оптимизируемую фактическую функцию совершенно отличной от наименьших квадратов.
Glen_b
Подводя итог, можно сказать, что SVM является улучшенным вариантом LR, потому что он находит гиперплоскость с максимальной разметкой, в то время как LR просто находит (своего рода случайную?) гиперплоскость. Согласны ли вы с этим обобщением?
LandonZeKepitelOfGreytBritn