Матрицы ядра RBF имеют тенденцию быть плохо обусловленными?

10

Я использую функцию ядра RBF для реализации одного алгоритма машинного обучения на основе ядра (KLPP), получившегося в результате матрицы ядра K

K(i,j)=exp((xixj)2σm2)
Показано, что он крайне плохо обусловлен. Приходит число условий L2-нормы. 10171064

Есть ли способ сделать его хорошо подготовленным? Я думаю, параметрσ нужно настроить, но я не знаю, как именно.

Спасибо!

ZeyuHu
источник
1
хорошо, если вы делаете σmЧем меньше вы улучшаете номер условия.
user189035

Ответы:

11

Уменьшение ширины ядра σm обычно уменьшит число условий.

Однако матрицы ядра могут стать единичными или близкими к единичным для любой базисной функции или распределения точек при условии, что базисные функции перекрываются. Причина этого на самом деле довольно проста:

  • Матрица ядра K единственное число, когда его определитель det(K) это ноль.
  • Обмен двух точек xi а также xj в вашей интерполяции эквивалентно обмену двумя строками в Kпри условии, что ваши пробные очки остаются постоянными.
  • Обмен двух строк в матрице меняет знак ее определителя.

Теперь представьте себе, выбирая две точки xi а также xjи медленно вращая их, чтобы они поменялись местами. Делая это, детерминантKпоменяет знак, став нулем в какой-то момент между ними. В этот момент,K по определению единственное число.

Pedro
источник
Разве K матриц не симметричны - меняются две точки, меняются строки и столбцы?
Денис
@Denis Это только в том случае, если ваши узлы и пробные точки совпадают, и вы перемещаете оба. Вот почему во второй статье я написал: «Предположим, что ваши пробные очки остаются постоянными».
Педро
матрица ядра гауссианов (вопрос ОП) в любом случае положительна полуопределена?
Денис
@ Денис: Опять же, это вопрос о том, как вы определяете свою проблему интерполяции RBF. Рассмотрим наиболее общий случай, когда у вас естьN RBFs сосредоточены на точках xi, i=1Nи вы хотите минимизировать интерполяцию на M точки ξj, j=1M, Пример плаката предполагаетM=N а также ξj=xi, Если мы изначально установилиMN а также ξjxi, а затем просто переместите xiмы можем тривиально генерировать единственное число K,
Педро
3

Пара предложений:

  1. выбирать σсреднее расстояние | случайныйx - ближайший xi, (Дешевое приближение дляN точки равномерно распределены в единичном кубе в Rd,d 2..5составляет 0,5 / N1/d.)
    Мы хотимϕ(|xxi|) быть большим для xi около xмал для фонового шума; сюжет, что для нескольких случайныхx,

  2. сдвиг K от 0, KK+λI, λ106или так; то есть упорядочить.

  3. Посмотрите на вес от решения (K+λI)w=f, Если некоторые из них все еще огромны (независимо от числа условий), это, как правило, подтверждает Бойд (ниже), что гауссовский RBF является фундаментально слабым.

(Одной альтернативой RBF является взвешивание по обратному расстоянию, IDW. Оно имеет преимущество автоматического масштабирования, то же самое для ближайших расстояний 1 2 3 что касается 100 200 300 Также я нахожу явный выбор пользователя Nnearколичество ближайших соседей, которое нужно рассмотреть, более ясное, чем поиск по сетке σ,λ .)

Джон П. Бойд, Бесполезность быстрого преобразования Гаусса для суммирования рядов радиальных базисных функций Гаусса , говорит

Гауссовский интерполант RBF для большинства рядов плохо обусловлен в том смысле, что он представляет собой небольшую разность членов с экспоненциально большими коэффициентами.

Надеюсь это поможет; Пожалуйста, поделитесь своим опытом.

Денис
источник