При использовании машины опорных векторов есть ли какие-либо рекомендации по выбору линейного ядра или нелинейного ядра, например, RBF? Я когда-то слышал, что нелинейное ядро имеет тенденцию не работать хорошо, когда количество функций велико. Есть ли какие-либо ссылки на этот вопрос?
45
Ответы:
Обычно решение заключается в том, использовать ли линейное ядро или ядро RBF (или гауссовское). Есть два основных фактора, которые следует учитывать:
Было показано, что линейное ядро является вырожденной версией RBF , поэтому линейное ядро никогда не бывает более точным, чем правильно настроенное ядро RBF. Цитирую тезис из статьи, которую я связал:
Основное правило кратко изложено в практическом руководстве NTU по поддержке векторной классификации (Приложение C).
Ваше заключение более или менее верно, но у вас есть аргумент в обратном направлении. На практике линейное ядро имеет тенденцию работать очень хорошо, когда число объектов велико (например, нет необходимости отображать пространство пространственных объектов еще более высокого размера). Типичным примером этого является классификация документов с тысячами измерений в пространстве ввода.
В этих случаях нелинейные ядра не обязательно значительно более точны, чем линейные. По сути, это означает, что нелинейные ядра теряют свою привлекательность: им требуется гораздо больше ресурсов для обучения с минимальной или нулевой прибылью в предсказательной производительности, так что зачем беспокоиться.
TL; DR
Всегда старайтесь сначала линейно, так как тренироваться намного быстрее (И тестировать). Если точности достаточно, похлопайте себя по спине для хорошо выполненной работы и переходите к следующей проблеме. Если нет, попробуйте нелинейное ядро.
источник
Эндрю Нг дает хорошее эмпирическое объяснение в этом видео, начиная с 14:46, хотя все видео стоит посмотреть.
Ключевые моменты
источник