Как понять эффект RBF SVM

17

Как я могу понять, что делает ядро ​​RBF в SVM? Я имею в виду, что понимаю математику, но есть ли способ почувствовать, когда это ядро ​​будет полезным?

Будут ли результаты от kNN связаны с SVM / RBF, поскольку RBF содержит векторные расстояния?

Есть ли способ почувствовать ядро ​​полинома? Я знаю, что чем выше измерение, тем оно шире. Но я хотел бы понять, что делают ядра, а не пробовать все возможные ядра и выбирать наиболее удачные.

Gerenuk
источник

Ответы:

29

Вы можете начать с рассмотрения одного из моих ответов здесь:
Нелинейная классификация SVM с ядром RBF

В этом ответе я пытаюсь объяснить, что пытается сделать функция ядра. Как только вы поймете, что он пытается сделать, вы можете прочитать мой ответ на вопрос по Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- радиально-базисных функций-ядро-карта-в-бесконечномерным-пространство / ответ / Arun-Айер-1

Воспроизведение содержания ответа на Quora, если у вас нет учетной записи Quora.

Вопрос: Почему ядро ​​RBF (радиальная базисная функция) отображается в бесконечномерное пространство? Ответ: Рассмотрим ядро ​​полинома степени 2, определяемое как, где x , y R 2 и x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

k(x,y)=(xTy)2
x,yR2x=(x1,x2),y=(y1,y2)

Таким образом, функция ядра может быть записана как, Теперь давайте попробуем придумать карту признаков Φ, такую ​​что функция ядра может быть записана как k ( x ,

k(x,y)=(x1y1+x2y2)2=x12y12+2x1x2y1y2+x22y22
Φ .k(x,y)=Φ(x)TΦ(y)

Рассмотрим следующую карту характеристик, По сути, эта карта объектов отображает точки в R 2в точки в R 3. Также обратите внимание, чтоΦ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2, что по сути является нашей функцией ядра.

Φ(Икс)знак равно(Икс12,2Икс1Икс2,Икс22)
р2р3
Φ(Икс)TΦ(Y)знак равноИкс12Y12+2Икс1Икс2Y1Y2+Икс22Y22

р3р2р3

рN

Теперь приезжаем в РБФ.

р2

k(x,y)=exp(xy2)=exp((x1y1)2(x2y2)2)
=exp(x12+2x1y1y12x22+2x2y2y22)
=exp(x2)exp(y2)exp(2xTy)
k(x,y)=exp(x2)exp(y2)n=0(2xTy)nn!
ΦR2

Вопрос об упражнении : получить первые несколько векторных элементов карты объектов для RBF для описанного выше случая?

Теперь, из приведенного выше ответа, мы можем сделать вывод:

  • Φ
  • Φр2Φ(Икс)знак равно(Икс12,2Икс1Икс2,Икс22)
TenaliRaman
источник