Разница ядер в SVM?

27

Может кто-нибудь подскажите пожалуйста разницу между ядрами в SVM:

линейный
многочлен
Гауссовский (RBF)
сигмоид

Потому что, как мы знаем, ядро используется для отображения нашего входного пространства в пространство пространственных объектов высокой размерности. И в этом пространстве признаков мы находим линейно отделимую границу ..

Когда они используются (при каких условиях) и почему?

machine-learning svm pattern-recognition kernel-trick user3378327
источник

4

Линейное ядро - это то, что вы ожидаете, линейная модель. Я полагаю, что ядро многочлена аналогично, но граница имеет некоторый определенный, но произвольный порядок

(например, порядок 3: $a= b_1 + b_2 \cdot X + b_3 \cdot X^2 + b_4 \cdot X^3$ ).

RBF использует нормальные кривые вокруг точек данных и суммирует их так, чтобы граница решения могла быть определена типом условия топологии, таким как кривые, где сумма превышает значение 0,5. (см. эту картину )

Я не уверен, что такое сигмовидное ядро, если только оно не похоже на модель логистической регрессии, где логистическая функция используется для определения кривых в соответствии с тем, где логистическое значение больше некоторого значения (вероятность моделирования), такого как 0,5, как нормальное кейс.

Джон Йеттер
источник

Таким образом, мы можем получить линейно отделимую гиперплоскость (границу), если мы используем линейное ядро ?? и если мы используем полиномиальное ядро или ядро RBF, (для полиномиального) гиперлан может быть кругом сгруппированных классов (для RBF) и кривой ?? это правильно?? scikit-learn.org/stable/modules/svm.html

user3378327

Каждый из ядер работает для версий с большими размерами соответствующих границ. Это отвечает на ваш вопрос? Вы не ограничены тремя измерениями для любого ядра, о котором я знаю.

Джон Йеттер

Я просто хочу прояснить это. То есть граница с использованием линейного ядра является линейной? Для RBF это как круг сгруппированных классов ?? и для полинома, это может быть кривой, основанной на степени полинома ??

user3378327

Я бы не сказал, что RBF - это круг сгруппированных классов. Насколько я понимаю, он применяет функцию, основанную на нормальном распределении в каждой точке данных, и суммирует эти функции. Затем граница образуется кривой, представляющей определенное значение для этой функции. Если кто-то, кто внес свой вклад в библиотеку SVM, может принять участие, это может помочь. Я думаю, что вы понимаете два других ядра правильно.

Джон Йеттер

U сказал, что Linier Kernel - это то, что я ожидал (чтобы получить линейно отделимый класс) с помощью Kernel. и с помощью классификатора SVM мы назвали его LINIER SVM. Но как, если мы сможем получить разделяемые данные без каких-либо ядер в SVM. Как мы это называем ?? Все еще Linier SVM или не Linier SVM ??

user3378327

11

Опираясь на базовые знания читателя о ядрах.

Линейное ядро: $K(X, Y) = X^T Y$

$K(X, Y) = (γ\cdot X^T Y + r)^d , γ > 0$

$K(X, Y) = \exp(\|X-Y\|^2/2σ^2)$ $\exp(-γ \cdot \|X - Y\|^2), γ > 0$

$K(X, Y) = \tanh(γ\cdot X^TY + r)$

$r$ $d$ $γ$

Ашок Чоудхары
источник

3

Хотя информация в вашем ответе верна, я не думаю, что она отвечает на поставленный здесь вопрос, который больше относится к тому, какова практическая разница между ними, т.е. когда использовать один или другой.

Firebug

1

Удивительно, но эти простые определения трудно найти. Они должны быть представлены в первую очередь, когда речь идет о различиях в ядрах, но существует широко распространенная ошибка их формулирования.

17

Есть ли официальный источник для них? (Я проверил их, и они кажутся правильными, но я хотел бы иметь возможность процитировать их.)

Кристиан Эрикссон

6

На этот вопрос можно ответить с теоретической и практической точек зрения. Из теоретического в соответствии с теоремой No-Free Lunch говорится, что нет никаких гарантий, что одно ядро будет работать лучше, чем другое. Это априори, вы никогда не знаете, и вы не можете узнать, какое ядро будет работать лучше.

С практической точки зрения обратитесь к следующей странице:

Как выбрать ядро для SVM?

Gnattuha
источник

1

Размышляя о том, для чего «хорошо» ядро или когда его следует использовать, жестких и быстрых правил не существует.

Если вы классификатор / регрессор хорошо работает с данным ядром, целесообразно, если нет, подумать о переходе на другое.

Понимание того, как может работать ваше ядро, особенно если это классификационная модель, можно получить, просмотрев некоторые примеры визуализации, например https://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805

Будет
источник

Разница ядер в SVM?

Ответы: