Эффективность регрессии ядра Риджа

Ридж регрессия может быть выражена как у = ( X ' X + I г ) - 1 X х , где у являюсь прогнозируемым метка, я d в d × d определить матрицу, х объект мы пытаемся найти лейбл для, и х в п × d матрица п объектов х я = ( х я , 1 , . . .

$$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$$ $\hat{y}$$\mathbf{I}_d$$d \times d$$\mathbf{x}$$\mathbf{X}$$n \times d$$n$ такой, что:$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

$$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$$

Мы можем kernelise это следующим образом

$$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$$

где является п × п матрица функций ядра $\mathbf{\mathcal{K}}$$n \times n$$K$

$$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$$

$\mathbf{k}$$n \times 1$$K$

$$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$$

Вопросов:

$\mathbf{x}_i$$\mathbf{X}$$50 \times 3$$\mathbf{X}'\mathbf{X}$$3 \times 3$$3 \times 3$$50 \times 50$$d \leq n$

(б) следует ли использовать самое простое ядро? Кажется, что ядра в регрессии гребня используются, чтобы свести на нет влияние размерности, а не использовать определенные свойства пространства признаков (в отличие от машин опорных векторов). Хотя ядра могут изменять расстояния между объектами, так есть ли какие-либо популярные ядра, используемые в регрессии гребня?

$O$

$K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

$K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

$n$$O(n^3)$

Ссылки:

1. Бхарат Сриперумбудур, Кэндзи Фукумизу и Герт Ланкриет. О связи универсальности, характеристических ядер и вложения мер РХС. Журнал исследований машинного обучения, 9: 773–780, 2010.
2. Бернхард Шлкопф, Александр Я. Смола. Обучение с ядрами: машины опорных векторов, регуляризация, оптимизация и не только 2002