Как понимать «нелинейный» как «нелинейное уменьшение размерности»?

24

Я пытаюсь понять различия между методами уменьшения линейной размерности (например, PCA) и нелинейными (например, Isomap).

Я не совсем понимаю, что подразумевает (не) линейность в этом контексте. Я прочитал из Википедии, что

Для сравнения, если PCA (алгоритм линейного уменьшения размерности) используется для сокращения этого же набора данных в два измерения, результирующие значения не так хорошо организованы. Это показывает, что многомерные векторы (каждый из которых представляет букву «А»), которые образуют это многообразие, изменяются нелинейным образом.

Что значит

векторы с высокой размерностью (каждый из которых представляет букву «А»), которые образуют это многообразие, изменяются нелинейным образом.

означать? Или, в более широком смысле, как я понимаю (не) линейность в этом контексте?

Sibbs Gambling
источник

Ответы:

20

Уменьшение размерности означает, что вы отображаете каждый многомерный вектор в низкоразмерный вектор. Другими словами, вы представляете (заменяете) каждый многомерный вектор низкоразмерным вектором.

Линейное уменьшение размерности означает, что компоненты вектора низкой размерности задаются линейными функциями компонентов соответствующего вектора большой размерности. Например, в случае сокращения до двух измерений мы имеем:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Если f1и f2являются (не) линейными функциями, мы имеем (нелинейное) уменьшение размерности.

Римский
источник
3
е(aИкс+б)знак равноaе(Икс)+бвес1Икс1++весNИксN
1
еязнак равноея(Икс1,...,ИксN)знак равнос(я)+ω1(я)Икс1+...ωN(я)ИксNеяИксяявляются компонентами низко- и высокомерных векторов соответственно (и я думаю, что это не то, что вы имеете в виду). Я думал, что проблема не в понимании, что такое линейная функция, а в том, где появляется линейность.
Роман
49

Одна картинка стоит тысячи слов:

PCA против Isomap

Здесь мы ищем одномерную структуру в 2D. Точки лежат вдоль S-образной кривой. PCA пытается описать данные с помощью линейного одномерного многообразия, которое представляет собой просто линию; Конечно, строка соответствует этим данным довольно плохо. Isomap ищет нелинейное (то есть изогнутое!) Одномерное многообразие и должно быть в состоянии обнаружить лежащую в основе S-образную кривую.

амеба говорит восстановить монику
источник