Регуляризованная линейная или RKHS-регрессия

Я изучаю разницу между регуляризацией в регрессии RKHS и линейной регрессией, но мне трудно понять решающее различие между ними.

Учитывая пары ввода-вывода , я хочу оценить функцию следующим образом: где - функция ядра. Коэффициенты можно найти, решив где с некоторым неправильным обозначением i -й элемент матрицы ядра K это {\ displaystyle K (x_ {i}, x_ {j})} . Это дает \ begin {уравнение} \ alpha ^ * = (K + \ lambda nI) ^ {- 1} Y. \ конец {} уравнение$(x_i,y_i)$$f(\cdot)$

$$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$$ $K(\cdot,\cdot)$$\alpha_m$ $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$$ $i,j$$K$${\displaystyle K(x_{i},x_{j})}$ $$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$$ В качестве альтернативы, мы могли бы рассматривать эту проблему как проблему нормальной регрессии / линейной регрессии: $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$$ с решением $$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$$

Какова будет принципиальная разница между этими двумя подходами и их решениями?

Как вы, наверное, заметили, записывая задачи оптимизации, единственное различие в минимизации состоит в том, какую норму Гильберта использовать для наказания. То есть, чтобы определить, какие «большие» значения используются для целей наказания. В настройке RKHS мы используем внутренний продукт RKHS, , тогда как регрессия гребня штрафует по отношению к евклидовой норме.$\alpha$$\alpha^tK\alpha$

Интересный теоретический результат является , как каждым метод эффектов спектров воспроизводящего ядра . Согласно теории RKHS, симметрично положительно определен. По спектральной теореме можно написать где - диагональная матрица собственных значений, а - ортонормированная матрица собственных векторов. Следовательно, в настройке RKHS Между тем, в настройке регрессии Риджа обратите внимание, что по симметрии, $K$$K$$K = U^tDU$$D$$U$

$$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$$ $K^tK=K^2$ $$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$$ Пусть спектр будет . В регрессии RKHS собственные значения стабилизируются с помощью . В регрессии Риджа мы имеем . В результате RKHS равномерно изменяет собственные значения, в то время как Ridge добавляет большее значение, если соответствующий меньше.$K$$\nu_1,\ldots,\nu_n$$\nu_i\rightarrow\nu_i+\lambda n$$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$$\nu_i$

В зависимости от выбора ядра две оценки для могут быть близки или удалены друг от друга. Расстояние в смысле нормы оператора будет Однако, это все еще ограничено для данного$\alpha$

$$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$$ $Y$Таким образом, ваши две оценки не могут быть произвольно далеко друг от друга. Следовательно, если ваше ядро ​​близко к идентичности, то, скорее всего, будет мало различий в подходах. Если ваши ядра сильно различаются, оба подхода могут привести к схожим результатам.

На практике трудно сказать однозначно, является ли одно лучше другого в данной ситуации. Поскольку мы минимизируем квадратичную ошибку при представлении данных в терминах функции ядра, мы эффективно выбираем лучшую регрессионную кривую из соответствующего гильбертова пространства функций. Следовательно, наказание по отношению к внутреннему продукту RKHS, кажется, естественный путь.