Понимание параметров функции Gaussian Basis для использования в линейной регрессии

Я хотел бы применить базисную функцию Гаусса в реализации линейной регрессии. К сожалению, мне сложно понять пару параметров в базовой функции. В частности, и .$\mu$$\sigma$

Мой набор данных - это матрица размером 10 000 x 31 10000 образцов и 31 функций. Я читал, что «Каждая базисная функция преобразует входной вектор х в скалярное значение». Таким образом, я предполагаю, что х равен 1 выборке, поэтому 1 х 31 вектор. Отсюда я в замешательстве. Что именно является параметром ? Я читал, что это определяет расположение основных функций. Так это не значит что-то? Я также сброшен с нижнего индекса j ( и ), это заставляет меня думать о j-й строке. Но это, кажется, не имеет смысла. Является ли вектором? Теперь для σ μ ϕ μ $\mu_j$$\mu$$\phi$$\mu_j$$\sigma$это "управляет пространственным масштабом". Что именно это? Я видел некоторые реализации, которые пробуют такие значения, как .1, .5, 2.5 для этого параметра. Как рассчитываются эти значения? Я проводил исследования и искал примеры для обучения, но пока не смог найти ни одного. Любая помощь или направление с благодарностью! Спасибо.

Когда вы запутались, позвольте мне начать с изложения проблемы и поочередно отвечать на ваши вопросы. У вас есть размер выборки 10000, и каждая выборка описывается вектором признаков . Если вы хотите выполнить регрессии с использованием гауссовских радиальных базисных функций , то ищем функцию вида F ( х ) = Σ J ш J * г J ( х , μ J , σ J ) , J = 1 .. м где г $x\in\mathbb{R}^{31}$

$$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$$ $g_i$ваши основные функции. В частности, вам нужно найти веса ж J так , что для заданных параметров М J и сг J минимизировать ошибку между у и соответствующим предсказанием у = ф ( х ) - как правило , вы будете минимизировать ошибку наименьших квадратов.$m$$w_j$$\mu_j$$\sigma_j$$y$$\hat{y}$$f(\hat{x})$

Что именно является параметром j индекса Mu?

Вам нужно найти базисных функций g j . (Вам все еще нужно определить число m ) Каждая базисная функция будет иметь µ j и a σ j (также неизвестно). Индекс j колеблется от 1 до m .$m$$g_j$$m$$\mu_j$$\sigma_j$$j$$1$$m$

Является ли вектором?$\mu_j$

Да, это точка в . Другими словами, это точка где-то в вашем пространстве признаков, и для каждой из m базовых функций должно быть определено µ .$\mathbb{R}^{31}$$\mu$$m$

Я читал, что это определяет расположение основных функций. Так это не значит что-то?

базисной функции центрирована в ц J . Вам нужно будет решить, где находятся эти места. Так что нет, это не обязательно означает что-либо (но посмотрите, как это определить, ниже)$j^{th}$$\mu_j$

Теперь о сигме, которая «управляет пространственным масштабом». Что именно это?

легче понять, если мы обратимся к самим базисным функциям.$\sigma$

Это помогает думать о гауссовых радиальных базисных функциях в более низких размерностях, скажем, или R 2 . В R 1 радиальная базисная функция Гаусса является просто известной кривой колокола. Колокол, конечно, может быть узким или широким. Ширина определяется σ - чем больше σ , тем уже форма колокола. Другими словами, σ масштабирует ширину формы колокола. Таким образом, для σ = 1 у нас нет масштабирования. Для больших σ мы имеем существенное масштабирование.$\mathbb{R}^{1}$$\mathbb{R}^{2}$$\mathbb{R}^{1}$$\sigma$$\sigma$$\sigma$$\sigma$$\sigma$

Вы можете спросить, какова цель этого. Если вы думаете о колоколе, покрывающем некоторую часть пространства (линия в ) - узкий колокол будет покрывать только небольшую часть линии *. Точки x, расположенные ближе к центру колокола, будут иметь большее значение g j ( x ) . Точки, удаленные от центра, будут иметь меньшее значение g j ( x ) . Масштабирование приводит к выталкиванию точек дальше от центра - по мере того, как колокол сужается, точки будут располагаться дальше от центра - уменьшая значение g j ( x $\mathbb{R}^{1}$$x$$g_j(x)$$g_j(x)$$g_j(x)$

Каждая базовая функция преобразует входной вектор x в скалярное значение

$\mathbf{x}\in\mathbb{R}^{31}$

$$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$$

$\mathbf{x}$$\mu_j$$\|\mathbf{x}-\mu_j\|$$\sigma_j$

Я видел некоторые реализации, которые пробуют такие значения, как .1, .5, 2.5 для этого параметра. Как рассчитываются эти значения?

Это, конечно, один из интересных и сложных аспектов использования радиальных базисных функций Гаусса. если вы будете искать в Интернете, вы найдете много предложений относительно того, как определяются эти параметры. Я в общих чертах изложу одну возможность, основанную на кластеризации. Вы можете найти это и несколько других предложений онлайн.

$m$$m$$g_j$$\mu_j$$\sigma_j$

$\infty$$\infty$

$j$$y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$$j$$y$$\beta_j$$\phi_j(x)$$y_j=\beta\phi_j(x)$$j$$y_j$$\beta$$\phi_j(x)$$i$$j$

$y_i$$x_i$$x_i$$\mu_i$$y_i$$j$$i$$j$$j$$\mu_{ij}$$\mu_j$$\sigma^2$$y$$y$$\sigma^2$

$x\in\mathbb{R}^{31}$$\mu_j\in\mathbb{R}^{31}$$e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$$\Sigma_j\in\mathbb{R}^{31\times 31}$$j$$j$$\Sigma_j$$j$