Матрицы ядра RBF имеют тенденцию быть плохо обусловленными?

Я использую функцию ядра RBF для реализации одного алгоритма машинного обучения на основе ядра (KLPP), получившегося в результате матрицы ядра $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ Показано, что он крайне плохо обусловлен. Приходит число условий L2-нормы.

10^{17} - 10^{64}

$10^{17}-10^{64}$

Есть ли способ сделать его хорошо подготовленным? Я думаю, параметр $\sigma$ нужно настроить, но я не знаю, как именно.

Спасибо!

linear-algebra machine-learning interpolation support-vector-machines ZeyuHu
источник

хорошо, если вы делаете

σ_{m}

$\sigma_m$ Чем меньше вы улучшаете номер условия.

user189035

Ответы:

Уменьшение ширины ядра $\sigma_m$ обычно уменьшит число условий.

Однако матрицы ядра могут стать единичными или близкими к единичным для любой базисной функции или распределения точек при условии, что базисные функции перекрываются. Причина этого на самом деле довольно проста:

Матрица ядра $K$ единственное число, когда его определитель $\det(K)$ это ноль.
Обмен двух точек $x_i$ а также $x_j$ в вашей интерполяции эквивалентно обмену двумя строками в $K$ при условии, что ваши пробные очки остаются постоянными.
Обмен двух строк в матрице меняет знак ее определителя.

Теперь представьте себе, выбирая две точки $x_i$ а также $x_j$ и медленно вращая их, чтобы они поменялись местами. Делая это, детерминант $K$ поменяет знак, став нулем в какой-то момент между ними. В этот момент, $K$ по определению единственное число.

Pedro
источник

Разве K матриц не симметричны - меняются две точки, меняются строки и столбцы?

Денис

@Denis Это только в том случае, если ваши узлы и пробные точки совпадают, и вы перемещаете оба. Вот почему во второй статье я написал: «Предположим, что ваши пробные очки остаются постоянными».

Педро

матрица ядра гауссианов (вопрос ОП) в любом случае положительна полуопределена?

Денис

@ Денис: Опять же, это вопрос о том, как вы определяете свою проблему интерполяции RBF. Рассмотрим наиболее общий случай, когда у вас есть

N

$N$ RBFs сосредоточены на точках

x_{i}

$x_i$ ,

i = 1 \dots N

$i=1\dots N$ и вы хотите минимизировать интерполяцию на

M

$M$ точки

ξ_{j}

$\xi_j$ ,

j = 1 \dots M

$j=1\dots M$ , Пример плаката предполагает

M = N

$M=N$ а также

ξ_{j} = x_{i}

$\xi_j=x_i$ , Если мы изначально установили

M \leftarrow N

$M\leftarrow N$ а также

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$ , а затем просто переместите

x_{i}

$x_i$ мы можем тривиально генерировать единственное число

K

$K$ ,

Педро

Пара предложений:

выбирать $\sigma \sim$ среднее расстояние | случайный $x$ - ближайший $x_i$ , (Дешевое приближение для $N$ точки равномерно распределены в единичном кубе в $\mathbb{R}^d, d\ 2 .. 5$ составляет 0,5 / $N^{1/d}$ .)
Мы хотим $\phi( |x - x_i| )$ быть большим для $x_i$ около $x$ мал для фонового шума; сюжет, что для нескольких случайных $x$ ,
сдвиг $K$ от 0, $K \to K + \lambda I$ , $\lambda \sim 10^{-6}$ или так; то есть упорядочить.
Посмотрите на вес от решения $(K + \lambda I) w = f$ , Если некоторые из них все еще огромны (независимо от числа условий), это, как правило, подтверждает Бойд (ниже), что гауссовский RBF является фундаментально слабым.

(Одной альтернативой RBF является взвешивание по обратному расстоянию, IDW. Оно имеет преимущество автоматического масштабирования, то же самое для ближайших расстояний 1 2 3 $\dots$ что касается 100 200 300 $\dots$ Также я нахожу явный выбор пользователя $Nnear$ количество ближайших соседей, которое нужно рассмотреть, более ясное, чем поиск по сетке $\sigma, \lambda$ .)

Джон П. Бойд, Бесполезность быстрого преобразования Гаусса для суммирования рядов радиальных базисных функций Гаусса , говорит

Гауссовский интерполант RBF для большинства рядов плохо обусловлен в том смысле, что он представляет собой небольшую разность членов с экспоненциально большими коэффициентами.

Надеюсь это поможет; Пожалуйста, поделитесь своим опытом.

Денис
источник