Как понять эффект RBF SVM

Как я могу понять, что делает ядро ​​RBF в SVM? Я имею в виду, что понимаю математику, но есть ли способ почувствовать, когда это ядро ​​будет полезным?

Будут ли результаты от kNN связаны с SVM / RBF, поскольку RBF содержит векторные расстояния?

Есть ли способ почувствовать ядро ​​полинома? Я знаю, что чем выше измерение, тем оно шире. Но я хотел бы понять, что делают ядра, а не пробовать все возможные ядра и выбирать наиболее удачные.

Вы можете начать с рассмотрения одного из моих ответов здесь:
Нелинейная классификация SVM с ядром RBF

В этом ответе я пытаюсь объяснить, что пытается сделать функция ядра. Как только вы поймете, что он пытается сделать, вы можете прочитать мой ответ на вопрос по Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- радиально-базисных функций-ядро-карта-в-бесконечномерным-пространство / ответ / Arun-Айер-1

Воспроизведение содержания ответа на Quora, если у вас нет учетной записи Quora.

Вопрос: Почему ядро ​​RBF (радиальная базисная функция) отображается в бесконечномерное пространство? Ответ: Рассмотрим ядро ​​полинома степени 2, определяемое как, где x , y ∈ R 2 и x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

$$k(x, y) = (x^Ty)^2$$ $x, y \in \mathbb{R}^2$$x = (x_1, x_2), y = (y_1, y_2)$

Таким образом, функция ядра может быть записана как, Теперь давайте попробуем придумать карту признаков Φ, такую ​​что функция ядра может быть записана как k ( x

$$k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$$ $\Phi$ .$k(x, y) = \Phi(x)^T\Phi(y)$

Рассмотрим следующую карту характеристик, По сути, эта карта объектов отображает точки в R 2в точки в R 3. Также обратите внимание, чтоΦ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2, что по сути является нашей функцией ядра.

$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$$ $\mathbb{R}^2$$\mathbb{R}^3$ $$\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$$

$\mathbb{R}^3$$\mathbb{R}^2$$\mathbb{R}^3$

$\mathbb{R}^n$

Теперь приезжаем в РБФ.

$\mathbb{R}^2$

$$k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$$ $$= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$$ $$= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$$ $$k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$$ $\Phi$$\mathbb{R}^2$

Вопрос об упражнении : получить первые несколько векторных элементов карты объектов для RBF для описанного выше случая?

Теперь, из приведенного выше ответа, мы можем сделать вывод:

• $\Phi$
• $\Phi$$\mathbb{R}^2$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$