Каковы ограничения методов ядра и когда использовать методы ядра?

Методы ядра очень эффективны во многих контролируемых задачах классификации. Итак, каковы ограничения методов ядра и когда использовать методы ядра? Каковы успехи методов ядра, особенно в эпоху крупномасштабных данных? В чем разница между методами ядра и обучением нескольких экземпляров? Если данные есть 500x10000, 500это количество отсчетов и 10000размерность каждого признака, то можем ли мы в этом случае использовать методы ядра?

Методы ядра могут использоваться для контролируемых и неконтролируемых проблем. Хорошо известными примерами являются машина опорных векторов и спектральная кластеризация ядра соответственно.

Методы ядра предоставляют структурированный способ использования линейного алгоритма в преобразованном пространстве признаков, для которого преобразование обычно является нелинейным (и в пространство более высокого измерения). Основное преимущество, которое дает этот так называемый трюк ядра, заключается в том, что нелинейные шаблоны можно найти при разумных вычислительных затратах.

Обратите внимание, что я сказал, что вычислительные затраты разумны, но не пренебрежимо малы. Методы ядра обычно создают матрицу ядра с числом обучающих экземпляров. Поэтому сложность методов ядра является функцией количества обучающих экземпляров, а не количества входных измерений. Например, машины опорных векторов имеют сложность обучения между и . Для проблем с очень большим , эта сложность в настоящее время запредельна.$\mathbf{K} \in \mathbb{R}^{N\times N}$$N$$O(N^2)$$O(N^3)$$N$

Это делает методы ядра очень интересными с вычислительной точки зрения, когда число измерений велико, а количество выборок относительно мало (скажем, менее 1 миллиона).

Связанный: линейное ядро ​​и нелинейное ядро ​​для опорных векторов машин?

SVM для крупномасштабных задач

Для задач с очень большими измерениями, такими как 10000измерения, которые вы упоминаете в вопросе, часто нет необходимости отображать пространство пространственных объектов более высокого измерения. Пространство ввода уже достаточно хорошо. Для таких задач линейные методы на несколько порядков быстрее с почти такой же прогнозирующей эффективностью. Примеры этих методов можно найти в LIBLINEAR или Vowpal Wabbit .

Линейные методы особенно интересны, когда у вас много выборок в многомерном пространстве ввода. Когда у вас есть только выборок, использование нелинейного метода ядра также будет дешевым (так как мало). Если бы у вас было, скажем, образцов в измерений, методы ядра были бы невозможны.$500$$N$$5.000.000$$10.000$

Для задач малой размерности со многими обучающими примерами (так называемые задачи с большим малым ) линейные методы могут дать плохую точность прогнозирования. Для таких задач методы ансамбля, такие как EnsembleSVM, обеспечивают нелинейные границы принятия решений при значительно меньших вычислительных затратах по сравнению со стандартным SVM.$N$$p$