Карта возможностей для ядра Гаусса

24

В SVM ядро ​​Гаусса определяется как: где . Я не знаю явного уравнения \ phi . Я хочу это знать.

K(x,y)=exp(xy222σ2)=ϕ(x)Tϕ(y)
x,yRnϕ

Я также хочу знать

iciϕ(xi)=ϕ(icixi)
, где ciR . Теперь я думаю, что это не равно, потому что использование ядра обрабатывает ситуацию, когда линейный классификатор не работает. Я знаю, ϕ проецирует x в бесконечное пространство. Так что, если он все еще остается линейным, независимо от того, сколько он размеров, svm все равно не сможет сделать хорошую классификацию.
Вивьен
источник
почему это ядро ​​подразумевает преобразование? Или вы имеете в виду связанное пространство функций?
Плацидия
Да, что такое пространство признаков чтобыϕ T ( x ) ϕ ( xϕ()ϕT(x)ϕ(x)=exp(12σ2xx2)
user27886

Ответы:

20

Вы можете получить явное уравнение для ядра Гаусса через разложение в ряд Тейлора . Для простоты обозначений предположим, что :е х х R 1ϕexxR1

ϕ(x)=ex2/2σ2[1,11!σ2x,12!σ4x2,13!σ6x3,]T

Это также обсуждается более подробно на этих слайдах Чих-Джен Лином из NTU (слайд 11 специально). Обратите внимание, что на слайдах используется в качестве параметра ядра.γ=12σ2

Уравнение в ОП справедливо только для линейного ядра.

Марк Клазен
источник
2
Привет, но это уравнение выше подходит только для одного измерения.
Вивиан
Итак, здесь воспроизводящее ядро ​​гильбертова пространства является подпространством в , верно? 2
The_Anomaly
Есть ли также явное представление ядра Лапласа?
Феликс Краззолара
13

Для любого действительного СДП ядра , существует отображение функция ф : ХН такое , что к ( х , у ) = ф ( х ) , ф ( у ) Н . Пространство H и вложение φ на самом деле не обязательно должны быть уникальными, но существует важная уникальная пара ( H , φ ), известная как гильбертово пространство воспроизводящего ядра (RKHS).k:X×XRφ:XHk(x,y)=φ(x),φ(y)HHφ(H,φ)

RKHS обсуждается: Steinwart, Hush and Scovel, Явное описание пространств Гильберта воспроизводящего ядра гауссовых ядер RBF , IEEE Transactions по теории информации 2006 ( doi , free citeseer pdf ).

Это несколько сложно, но все сводится к следующему: определите как e n ( z ) : = en:CC

en(z):=(2σ2)nn!zneσ2z2.

Пусть - последовательность, охватывающая все d- кортежи неотрицательных целых чисел; если d = 3 , возможно, n ( 0 ) = ( 0 , 0 , 0 ) , n ( 1 ) = ( 0 , 0 , 1 ) , n ( 2 ) = ( 0 , 1 , 1 )n:N0N0ddd=3n(0)=(0,0,0)n(1)=(0,0,1)n(2)=(0,1,1), и так далее. Обозначим й компонент i- го кортежа через n i j .jinij

Тогда я компонента φ ( x ) равна d j = 1 e n i j ( x j ) . Таким образом, φ отображает векторы в R d на бесконечномерные комплексные векторы.iφ(x)j=1denij(xj)φRd

Подвох в том, что мы также должны определить нормы для этих бесконечномерных комплексных векторов особым образом; см. бумагу для деталей.


Steinwart et al. также дать более простое (на мой взгляд) вложение в , гильбертово пространство квадратично интегрируемых функций из R dR : Φ σ ( x ) = ( 2 σ ) dL2(Rd)RdR ЗаметимчтоФсг(х)самасебе является функцией отRDвR. Это в основном плотностьd-мерного гауссова со среднимхи ковариации1

Φσ(x)=(2σ)d2πd4e2σ2x22.
Φσ(x)RdRdx; отличается только нормализующая константа. Таким образомкогда мы берем Ф(х),Ф(г)L2=[Ф(х)](т)14σ2I мы беремпроизведение гауссовых функций плотности, которое само по себе является определенным постоянным временем гауссовой функции плотности. Когда вы выполняете этот интеграл по t , тогда выпадающая константа в конечном итоге становится точно k ( x , y ) .
Φ(x),Φ(y)L2=[Φ(x)](t)[Φ(y)](t)dt,
tk(x,y)

Это не единственные вложения, которые работают.

Другой основан на преобразовании Фурье, к которому приближается знаменитая статья Рахими и Рехта ( Случайные характеристики для крупномасштабных ядерных машин , NIPS 2007).

Вы также можете сделать это, используя ряды Тейлора: фактически бесконечную версию Коттера, Кешета и Сребро, Явные аппроксимации ядра Гаусса , arXiv: 1109.4603 .

Дугал
источник
1
Дуглас Заря дала 1d версии «более простой» вложение в интересной теме здесь .
Дугал
Φ
6

ϕKσ

Дикран Сумчатый
источник
Спасибо за ваш ответ. когдаσ0размерность проектов ядра Гаусса будет увеличиваться. И по твоему вдохновению теперь я думаю, что это не равно. Потому что, используя ядро ​​просто справиться с ситуацией, что линейная классификация не работает.
Вивиан