Масштабируемое уменьшение размера

9

Учитывая постоянное число функций, t-SNE Барнса-Хата имеет сложность , случайные проекции и PCA имеют сложность что делает их «доступными» для очень больших наборов данных.О(NжурналN)О(N)

С другой стороны, методы, основанные на многомерном масштабировании, имеют сложность .О(N2)

Существуют ли другие методы уменьшения размерности (кроме тривиальных, как, например, просмотр первых столбцов), сложность которых ниже, чем ?КО(NжурналN)

RUser4512
источник

Ответы:

5

Интересным вариантом было бы изучение нейронного уменьшения размерности. Наиболее часто используемый тип сети для уменьшения размерности, автоэнкодер, может обучаться за счет , где представляет итерации обучения (это гиперпараметр, независимый от данных обучения) , Следовательно, сложность обучения упрощается до .О(яN)яО(N)

Вы можете начать с изучения работы Хинтона и Салахутдинова в 2006 году [1]. С тех пор многое изменилось. В настоящее время большая часть внимания достигается Variational Autoencoders [2], но основная идея (сеть, которая реконструирует вход на своем выходном уровне с промежуточным слоем) остается той же. Обратите внимание, что, в отличие от PCA и RP, автоэнкодеры выполняют нелинейное уменьшение размерности. Кроме того, в отличие от t-SNE, автоэнкодеры могут преобразовывать невидимые выборки без необходимости переобучения всей модели.

С практической точки зрения я рекомендую взглянуть на этот пост , в котором подробно рассказывается о том, как реализовать различные типы автоэнкодеров с помощью замечательной библиотеки Keras.

[1] Хинтон Г.Е., Салахутдинов Р.Р. (2006). Уменьшение размерности данных с помощью нейронных сетей. наука, 313 (5786), 504-507.

[2] Кингма Д.П. и Веллинг М. (2013). Авто-кодирование вариационных байесов. Препринт arXiv arXiv: 1312.6114.

Даниэль Лопес
источник
1
технически вам не нужно переучивать модель для новых образцов с помощью t-SNE, используя этот конкретный подход: lvdmaaten.github.io/publications/papers/AISTATS_2009.pdf
библиолитический
Конечно. В качестве потенциального подхода автор также предложил обучить многомерный регрессор для прогнозирования выборок входных данных из местоположения карты. В статье, которую вы упоминаете, автор обучает нейронную сеть, чтобы напрямую минимизировать потери t-SNE. Однако в обоих случаях вы должны определить явную модель или функцию для сопоставления точек данных с результирующим пространством, поэтому оно должно быть достаточно мощным (достаточное количество слоев / нейронов), чтобы изучить внедрение, но не слишком большим, чтобы избежать чрезмерной подгонки. ... Это отчасти жертвует удобством использования стандартного t-SNE.
Даниэль Лопес
Там нет никаких разногласий, я просто думаю, что немного неточно противопоставлять автоэнкодеры и t-SNE, как вы делаете в своем ответе, видя, что t-SNE может использоваться как потеря для уменьшения размерности
библиолитический
О(N)
О(м2)м