Я пытаюсь понять различия между методами уменьшения линейной размерности (например, PCA) и нелинейными (например, Isomap).
Я не совсем понимаю, что подразумевает (не) линейность в этом контексте. Я прочитал из Википедии, что
Для сравнения, если PCA (алгоритм линейного уменьшения размерности) используется для сокращения этого же набора данных в два измерения, результирующие значения не так хорошо организованы. Это показывает, что многомерные векторы (каждый из которых представляет букву «А»), которые образуют это многообразие, изменяются нелинейным образом.
Что значит
векторы с высокой размерностью (каждый из которых представляет букву «А»), которые образуют это многообразие, изменяются нелинейным образом.
означать? Или, в более широком смысле, как я понимаю (не) линейность в этом контексте?
Одна картинка стоит тысячи слов:
Здесь мы ищем одномерную структуру в 2D. Точки лежат вдоль S-образной кривой. PCA пытается описать данные с помощью линейного одномерного многообразия, которое представляет собой просто линию; Конечно, строка соответствует этим данным довольно плохо. Isomap ищет нелинейное (то есть изогнутое!) Одномерное многообразие и должно быть в состоянии обнаружить лежащую в основе S-образную кривую.
источник