Интерпретация расстояния от гиперплоскости в SVM

У меня есть несколько сомнений в интуитивном понимании SVM. Предположим, что мы обучили модель SVM для классификации с использованием некоторого стандартного инструмента, такого как SVMLight или LibSVM.

1. Когда мы используем эту модель для прогнозирования тестовых данных, модель генерирует файл, имеющий значения «альфа» для каждой тестовой точки. Если альфа-значение положительное, контрольная точка принадлежит классу 1, иначе она принадлежит классу 2. Теперь, можем ли мы сказать, что контрольная точка с большим значением «альфа» принадлежит соответствующему классу с «более высокой» вероятностью?

2. Аналогично первому вопросу, когда у нас есть SVM-тренинг. СВ лежат очень близко к гиперплоскости. Значит ли это, что SV принадлежат к этому классу с высокой вероятностью? Можем ли мы связать вероятность точки, принадлежащей классу, с ее расстоянием от «гиперплоскости»? Представляет ли значение «альфа» расстояние от «гиперплоскости»?

Спасибо за ваш вклад.

Позвольте мне сначала ответить на ваш вопрос в целом. SVM не является вероятностной моделью. Одна из причин заключается в том, что оно не соответствует нормируемой вероятности. Например , в упорядоченные наименьших квадратов у вас есть функция потерь . , ( y m , x m ) ) ∝ 1 / Z exp ( - ‖ w ‖ 2 2 ) ∏ i exp $\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$ и регуляризатора . Весовой вектор получается путем минимизации суммы двух. Однако это эквивалентно максимизации лог-апостериора w с данными p ( w | ( $\|w\|_2^2$$w$ , которые вы можете увидетьчтобы быть продуктом гауссовская вероятность и гауссовский приор на w ($p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$удостоверяется, что это нормализуется). Вы получаете гауссовскую вероятность из функции потерь, переворачивая ее знак и возводя его в степень. Однако, если вы делаете это с функцией потерь SVM, логарифмическая вероятность не является нормализуемой вероятностной моделью.

Есть попытки превратить SVM в один. Наиболее заметный, который, я думаю, также реализован в libsvm:

Джон Платт: вероятностные результаты для машин опорных векторов и сравнение с регуляризованными методами правдоподобия (NIPS 1999): http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$$y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$$y$$w$$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$