Есть ли метод, противоположный уменьшению размерности?

Я новичок в области машинного обучения, но сделал свою долю обработки сигналов. Пожалуйста, дайте мне знать, если этот вопрос был неправильно маркирован.

У меня есть двумерные данные, которые определяются как минимум тремя переменными, а модель с сильно нелинейной моделью слишком сложна для моделирования.

У меня был разный уровень успеха при извлечении двух основных компонентов из данных с использованием таких методов, как PCA и ICA (из библиотеки Python Scikit-Learn), но кажется, что эти методы (или, по крайней мере, эти реализации методов) ограничены для извлечения столько данных, сколько имеется измерений в данных, например, 2 компонента из облака точек 2D.

При построении данных обученному глазу ясно, что есть три различных линейных тренда, три цветных линии показывают направления.

график данных

При использовании PCA основной компонент выравнивается по одной из цветных линий, а другой находится под углом 90 °, как и ожидалось. При использовании ICA первый компонент выравнивается по синей линии, а второй находится где-то между красной и зеленой. Я ищу инструмент, который мог бы воспроизвести все три компонента в моем сигнале.

РЕДАКТИРОВАТЬ, Дополнительная информация: я здесь работаю в небольшом подмножестве большей фазовой плоскости. В этом небольшом подмножестве каждая входная переменная производит линейное изменение на плоскости, но направление и амплитуда этого изменения нелинейны и зависят от того, где именно на большей плоскости, с которой я работаю. В некоторых местах две переменные могут быть вырожденными: они вызывают изменения в одном и том же направлении. например, скажем, модель зависит от X, Y и Z. Изменение переменной X приведет к изменению вдоль синей линии; Y вызывает изменение вдоль зеленой линии; Z, вдоль красного.

machine-learning scikit-learn PhilMacKay
источник

Если я правильно понимаю, концепция, которую вы ищете, встраивается . Посмотрите методы ядра и, в частности , ядро PCA .

Эмре

Я не уверен в этом, поэтому я не публикую это как ответ. В модели нейронной сети вы можете сохранить размерность скрытого слоя> размерность входного слоя. Затем вы можете использовать скрытый слой в качестве входных данных для другой сети / модели. Но для этого требуется много данных.

Азраэль

Когда вы говорите двумерные данные, определяемые как минимум тремя переменными, в каком смысле вы используете термин «переменная»? Будут ли занятия подходящей заменой? Стоит отметить, что PCA извлекает максимально вариативные измерения из данных, это не обязательно является наиболее дискриминационным преобразованием для применения. Вы смотрели на кластеризацию?

image_doctor

Знаете ли вы что-нибудь о нелинейности модели? Хотя это может быть слишком сложным для моделирования, знание того, что оно состоит не более чем из полиномов 3-й степени, значительно ограничивает конструкцию объекта, например, вы можете добавить все 3-й полис 3-й степени и затем снова обработать PCA до 3D.

AN6U5

Я обсуждал со своим другом-статистиком, который предложил использовать ядро PCA для производных моих данных, так как я ищу склоны. Будет ли считать производную считать "характеристикой"?

PhilMacKay

Короткий ответ: да.

По сути, вы будете выполнять какую-то особенность. Это означает создание ряда функций из ваших данных, часто:

$\phi_j(x): \mathbb R^p \rightarrow \mathbb R \ ,\ \ j=1,...,K$

$\boldsymbol \phi(x)$ $K$

Есть несколько способов, лучше и хуже, сделать это. Вы можете посмотреть такие термины, как:

Сплайны и обобщенные аддитивные модели.
$K\rightarrow \infty$
$x^2$
Глубокое обучение, репрезентативное обучение

Как вы можете догадаться из такого разнообразного набора техник, это большая площадь. Само собой разумеется, но нужно быть осторожным, чтобы избежать перегрузки.

В этом документе « Представительное обучение: обзор и новые перспективы» рассматриваются некоторые вопросы, связанные с тем, что делает определенный набор функций «хорошим» с точки зрения глубокого обучения.

гипотезы
источник

Есть ли метод, противоположный уменьшению размерности?

Ответы: