Как выполнить уменьшение размерности с PCA в R

У меня большой набор данных, и я хочу уменьшить размерность.

Сейчас везде читаю, что могу использовать для этого PCA. Тем не менее, я все еще не понимаю, что делать после вычисления / выполнения PCA. В R это легко сделать с помощью команды princomp.

Но что делать после расчета СПС? Если я решил, что хочу использовать первые основных компонентов, как мне точно сократить мой набор данных?$100$

Я полагаю, что то, что вы получаете в своем вопросе, касается усечения данных с использованием меньшего числа основных компонентов (ПК). Для таких операций, я думаю, эта функция prcompболее наглядна, так как проще визуализировать умножение матриц, использованное при реконструкции.

Во-первых, дайте синтетический набор данных, Xtвы выполняете PCA (обычно вы центрируете выборки, чтобы описать ПК, относящиеся к ковариационной матрице:

#Generate data
m=50
n=100
frac.gaps <- 0.5 # the fraction of data with NaNs
N.S.ratio <- 0.25 # the Noise to Signal ratio for adding noise to data

x <- (seq(m)*2*pi)/m
t <- (seq(n)*2*pi)/n

#True field
Xt <- 
 outer(sin(x), sin(t)) + 
 outer(sin(2.1*x), sin(2.1*t)) + 
 outer(sin(3.1*x), sin(3.1*t)) +
 outer(tanh(x), cos(t)) + 
 outer(tanh(2*x), cos(2.1*t)) + 
 outer(tanh(4*x), cos(0.1*t)) + 
 outer(tanh(2.4*x), cos(1.1*t)) + 
 tanh(outer(x, t, FUN="+")) + 
 tanh(outer(x, 2*t, FUN="+"))

Xt <- t(Xt)

#PCA
res <- prcomp(Xt, center = TRUE, scale = FALSE)
names(res)

В результатах или prcompвы можете видеть ПК ( res$x), собственные значения ( res$sdev), дающие информацию о величине каждого ПК и нагрузках ( res$rotation).

res$sdev
length(res$sdev)
res$rotation
dim(res$rotation)
res$x
dim(res$x)

Возводя в квадрат собственные значения, вы получаете дисперсию, объясняемую каждым компьютером:

plot(cumsum(res$sdev^2/sum(res$sdev^2))) #cumulative explained variance

Наконец, вы можете создать усеченную версию ваших данных, используя только ведущие (важные) ПК:

pc.use <- 3 # explains 93% of variance
trunc <- res$x[,1:pc.use] %*% t(res$rotation[,1:pc.use])

#and add the center (and re-scale) back to data
if(res$scale != FALSE){
	trunc <- scale(trunc, center = FALSE , scale=1/res$scale)
}
if(res$center != FALSE){
    trunc <- scale(trunc, center = -1 * res$center, scale=FALSE)
}
dim(trunc); dim(Xt)

Вы можете видеть, что в результате получается немного более гладкая матрица данных с отфильтрованными мелкими объектами:

RAN <- range(cbind(Xt, trunc))
BREAKS <- seq(RAN[1], RAN[2],,100)
COLS <- rainbow(length(BREAKS)-1)
par(mfcol=c(1,2), mar=c(1,1,2,1))
image(Xt, main="Original matrix", xlab="", ylab="", xaxt="n", yaxt="n", breaks=BREAKS, col=COLS)
box()
image(trunc, main="Truncated matrix (3 PCs)", xlab="", ylab="", xaxt="n", yaxt="n", breaks=BREAKS, col=COLS)
box()

И вот очень простой подход, который вы можете использовать вне функции prcomp:

#alternate approach
Xt.cen <- scale(Xt, center=TRUE, scale=FALSE)
C <- cov(Xt.cen, use="pair")
E <- svd(C)
A <- Xt.cen %*% E$u

#To remove units from principal components (A)
#function for the exponent of a matrix
"%^%" <- function(S, power)
     with(eigen(S), vectors %*% (values^power * t(vectors)))
Asc <- A %*% (diag(E$d) %^% -0.5) # scaled principal components

#Relationship between eigenvalues from both approaches
plot(res$sdev^2, E$d) #PCA via a covariance matrix - the eigenvalues now hold variance, not stdev
abline(0,1) # same results

Теперь решение о том, какие ПК оставить, - это отдельный вопрос, который меня интересовал некоторое время назад . Надеюсь, это поможет.

Эти другие ответы очень хорошие и подробные, но мне интересно, действительно ли вы задаете гораздо более простой вопрос: что вы делаете, когда у вас есть ПК?

Каждый ПК просто становится новой переменной. Скажем, ПК1 составляет 60% от общего отклонения, а ПК2 - 30%. Поскольку это составляет 90% от общей вариации, вы можете просто принять эти две новые переменные (ПК) в качестве упрощенной версии ваших исходных переменных. Это означает подгонку их к моделям, если это то, что вас интересует. Когда приходит время интерпретировать ваши результаты, вы делаете это в контексте исходных переменных, которые коррелируют с каждым ПК.

Извините, если я недооценил суть вопроса!

$i$$\frac{\lambda_i}{\Sigma_{k=1}^{p} \lambda_k}$$p$$p =784$$\lambda$

Практически с PCA вы используете прогнозы ПК («баллы») в качестве суррогатных данных для вашего исходного образца. Вы делаете весь свой анализ на счетах, и после этого вы восстанавливаете свой оригинальный образец, используя ПК, чтобы выяснить, что произошло на вашем первоначальном пространстве (это в основном регрессия основных компонентов ). Ясно, что если вы в состоянии осмысленно интерпретировать свои собственные векторы («нагрузки»), то вы находитесь в еще лучшем положении: вы можете описать, что происходит с вашей выборкой в ​​режиме изменения, представленном этой загрузкой, сделав непосредственный вывод об этой загрузке и не заботиться о реконструкции вообще. :)

В общем, что вы «после расчета PCA» зависит от цели вашего анализа. PCA просто дает вам линейно независимую подвыборку ваших данных, которая является оптимальной по критерию реконструкции RSS. Вы можете использовать его для классификации, или регрессии, или для того и другого, или, как я уже упоминал, вы можете распознавать значимые ортогональные варианты вариаций в вашей выборке.

Комментарий : я думаю, что лучший наивный способ определить количество компонентов, которые следует сохранить, - это основывать свою оценку на некотором пороге изменения выборки, который вы хотели бы сохранить в своей выборке с уменьшенной размерностью, а не на каком-то произвольном числе, например. 3, 100, 200. Как объяснил пользователь 4959, вы можете проверить это кумулятивное отклонение, проверив соответствующее поле списка под $loadingsполем в объекте списка, созданного princomp.

После выполнения PCA вы можете выбрать первые два компонента и построить график. Вы можете увидеть изменение компонентов, используя график осыпания в R. Кроме того, используя функцию итога с loadings = T, вы можете связать изменение компонентов с компонентами.

Вы также можете посмотреть эти http://www.statmethods.net/advstats/factor.html и http://statmath.wu.ac.at/~hornik/QFS1/principal_component-vignette.pdf

Попробуй думать, что ты хочешь. Вы можете интерпретировать многое из анализа PCA.

Лучший Абхик