При использовании SVM нам нужно выбрать ядро.
Интересно, как выбрать ядро. Какие-либо критерии выбора ядра?
machine-learning
svm
kernel-trick
xiaohan2012
источник
источник
Ответы:
Ядро фактически является мерой подобия, поэтому выбор ядра в соответствии с предшествующим знанием инвариантности, как это было предложено Робином (+1), является хорошей идеей.
В отсутствие экспертных знаний ядро Radial Basis Function делает хорошее ядро по умолчанию (как только вы установили, это проблема, требующая нелинейной модели).
Выбор параметров ядра и ядра / регуляризации может быть автоматизирован путем оптимизации выбора модели на основе перекрестной оценки (или использования границ радиуса или границ диапазона). Самое простое, что можно сделать, - это минимизировать критерий непрерывного выбора модели, используя симплекс-метод Нелдера-Мида, который не требует вычисления градиента и хорошо работает для разумного числа гиперпараметров. Если у вас есть несколько гиперпараметров для настройки, автоматический выбор модели может привести к серьезному переизбранию из-за отклонения критерия выбора модели. Можно использовать оптимизацию на основе градиента, но выигрыш в производительности обычно не стоит усилий по его кодированию).
Автоматизированный выбор ядер и параметров ядра / регуляризации является сложной задачей, поскольку очень легко переписать критерий выбора модели (как правило, основанный на перекрестной проверке), и вы можете получить модель хуже, чем вы начали. Автоматический выбор модели также может повлиять на оценку производительности, поэтому убедитесь, что ваша оценка производительности оценивает весь процесс подгонки модели (обучение и выбор модели), подробнее см.
GC Cawley и NLC Talbot, Предотвращение чрезмерной подгонки при выборе модели с помощью байесовской регуляризации гиперпараметров, Journal of Machine Learning Research, том 8, страницы 841-861, апрель 2007 г. (pdf)
а также
GC Cawley и NLC Talbot, Чрезмерная подгонка при выборе модели и последующий уклон выбора при оценке производительности, Journal of Machine Learning Research, vol. 11, с. 2079-2107, июль 2010 г. (pdf)
источник
Если вы не уверены, что будет лучше, вы можете использовать автоматические методы отбора (например, перекрестная проверка, ...). В этом случае вы даже можете использовать комбинацию классификаторов (если ваша проблема заключается в классификации), полученных с другим ядром.
Однако «преимущество» работы с ядром состоит в том, что вы меняете обычную «евклидову» геометрию так, чтобы она соответствовала вашей собственной проблеме. Кроме того, вы должны действительно попытаться понять, что интересует ядро для вашей проблемы, что является специфическим для геометрии вашей проблемы . Это может включать в себя:
источник
У меня всегда есть чувство, что любой выбор гиперпараметров для SVM осуществляется через перекрестную проверку в сочетании с поиском по сетке.
источник
В целом, ядро RBF является разумным первым выбором. Более того, линейное ядро является частным случаем RBF. В частности, когда число функций очень велико, можно просто использовать линейное ядро.
источник