Использование параметра Gamma с машинами опорных векторов

9

При использовании libsvmпараметр является параметром для функции ядра. Его значение по умолчанию установлено какγ

γзнак равно1количество функций.

Существуют ли теоретические рекомендации по настройке этого параметра помимо существующих методов, например, поиск по сетке?

machine-learning svm data-mining libsvm kernel-trick user3269
источник

Ответы:

8

Я бы предложил следующее теоретическое руководство. При использовании Gaussian RBF ядра, ваша отдаяся поверхность будет основана на сочетании колпаковых поверхностей с центром в каждом векторе поддержки. Ширина каждой колоколообразной поверхности будет обратно пропорциональна . Если эта ширина меньше минимального парного расстояния для ваших данных, у вас, по сути, есть переоснащение. Если эта ширина больше, чем максимальное парное расстояние для ваших данных, все ваши точки попадают в один класс, и у вас тоже не будет хорошей производительности. Таким образом, оптимальная ширина должна быть где-то между этими двумя крайностями.γ

Лео
источник
pair-wise distance for your data= простое евклидово расстояние после масштабирования?
ihadanny
5

Нет, это в основном зависит от данных. Поиск по сетке (по преобразованным по логу гиперпараметрам) - очень хороший метод, если у вас есть только небольшое количество гиперпараметров для настройки, но вы не делаете разрешение сетки слишком точным, или вы, вероятно, перегоните настройку критерий. Для проблем с большим количеством параметров ядра, я считаю, что симплекс-метод Nelder-Mead работает хорошо.

Дикран Сумчатый
источник
Дикран, спасибо за ответ. Можете ли вы подробнее рассказать о «зависимых от данных»? Какова связь между r и набором данных? Или, другими словами, учитывая набор данных, есть ли способ определить r на основе этих данных?
user3269
1
По сути, «зависящий от данных» означает, что наилучшие настройки будут варьироваться в зависимости от конкретной структуры данных, и, как правило, нет лучшего способа установить их, чем минимизация ошибки перекрестной проверки. Методы ядра могут действительно помочь с более теоретическим анализом изучения ядра, но, к сожалению, это математически очень сложно.
Дикран Marsupial