Гауссово RBF против гауссова ядра

В чем разница между выполнением линейной регрессии с помощью гауссовой радиальной базисной функции (RBF) и выполнением линейной регрессии с использованием гауссовского ядра?

Единственная реальная разница заключается в применяемой регуляризации. Регуляризованная сеть RBF обычно использует штраф, основанный на квадрате нормы весов. Для версии ядра штраф обычно накладывается на квадратичную норму весов линейной модели, неявно построенной в пространстве признаков, индуцированном ядром. Ключевое практическое отличие, которое это делает, состоит в том, что штраф за сеть RBF зависит от центров сети RBF (и, следовательно, от выборки используемых данных), тогда как для ядра RBF пространство индуцированных признаков является одинаковым независимо от выборки данные, поэтому штраф является штрафом за функцию модели, а не за ее параметризацию .

Другими словами, для обеих моделей мы имеем

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

Для сетевого подхода RBF критерием обучения является

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

Для метода ядра RBF у нас есть $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ и $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ . Это означает, что квадрат нормы штрафа для весов модели в индуцированном пространстве признаков, $\vec{w}$ можно записать в терминах двойственных параметров, $\vec{\alpha}$ как

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

где - это матрица попарных оценок ядра для всех шаблонов обучения. Тогда критерий обучения$\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$ .

Единственное различие между этими двумя моделями заключается в в члене регуляризации.$\matrix{K}$

Ключевое теоретическое преимущество подхода на основе ядра состоит в том, что он позволяет интерпретировать нелинейную модель как линейную модель после фиксированного нелинейного преобразования, которое не зависит от выборки данных. Таким образом, любая статистическая теория обучения, существующая для линейных моделей, автоматически переходит к нелинейной версии. Тем не менее, все это ломается, как только вы пытаетесь настроить параметры ядра, и в этот момент мы возвращаемся к той же точке теоретически, как и в случае с нейронными сетями RBF (и MLP). Так что теоретическое преимущество, возможно, не так велико, как хотелось бы.

Это может реально повлиять на производительность? Наверное, не очень. Теоремы «без бесплатного обеда» предполагают, что нет никакого априорного превосходства какого-либо алгоритма над всеми другими, и различие в регуляризации довольно тонкое, поэтому, если сомневаетесь, попробуйте оба варианта и выберите лучший в соответствии, например, с перекрестной проверкой.