Что максимизируют первые

В анализе главных компонентов первые главных компонентов - это k ортогональных направлений с максимальной дисперсией. Другими словами, первый главный компонент выбирается как направление максимальной дисперсии, второй главный компонент выбирается как направление, ортогональное первому с максимальной дисперсией, и так далее.$k$$k$

Есть ли аналогичная интерпретация факторного анализа? Например, я думаю, что первые факторов - это факторы, которые лучше всего объясняют недиагональные компоненты исходной корреляционной матрицы (в смысле, скажем, квадрата ошибки между исходной корреляционной матрицей и корреляционной матрицей, определяемой факторы). Это правда (или есть что-то похожее, что мы можем сказать)?$k$

PCA - это, прежде всего, метод сокращения данных, целью которого является получение проекции данных в пространство меньшего размера. Две эквивалентные цели состоят в том, чтобы либо максимизировать дисперсию итеративно, либо минимизировать ошибку реконструкции. Это на самом деле проработано в некоторых деталях в ответах на этот предыдущий вопрос .

Напротив, факторный анализ - это прежде всего порождающая модель мерного вектора данных X, говорящая о том, что X = A S + ϵ, где S - q- мерный вектор скрытых факторов, A - это p × k с k < p, а ϵ - это вектор некоррелированных ошибок. Матрица является матрицей факторных нагрузок . Это дает специальную параметризацию ковариационной матрицы как Σ = A A T + $p$$X$

$$X = AS + \epsilon$$ $S$$q$$A$$p \times k$$k < p$$\epsilon$$A$ $$\Sigma = AA^T + D$$ Проблема этой модели заключается в том, что она является чрезмерно параметризованной. Такая же модель получается, если заменить на A R для любой k × k ортогональной матрицы R , что означает, что сами факторы не являются уникальными. Существуют различные предложения для решения этой проблемы, но не существует единственного решения, которое дало бы вам факторы с той интерпретацией, о которой вы просите. Один популярный выбор - вращение Varimax . Однако используемый критерий определяет только вращение. Пространство столбцов, охватываемое A , не изменяется, и, поскольку оно является частью параметризации, оно определяется любым методом, используемым для оценки $A$$AR$$k \times k$$R$$A$$\Sigma$ - по максимальной вероятности в гауссовой модели, скажем.

Следовательно, чтобы ответить на вопрос, выбранные факторы не задаются автоматически при использовании модели факторного анализа, поэтому не существует единой интерпретации первых факторов. Необходимо указать метод, используемый для оценки (пространство столбцов) A, и метод, используемый для выбора поворота. Если D = σ 2 I (все ошибки имеют одинаковую дисперсию), решением MLE для пространства столбцов A является пространство, охватываемое ведущими q векторами главных компонент, которые могут быть найдены посредством разложения по сингулярным числам. Конечно, можно выбрать не вращать и сообщать об этих основных компонентных векторах как факторах. $k$$A$$D = \sigma^2 I$$A$$q$

$k$$k$$k$

@RAEGTIN, я считаю, что вы думаете правильно. После извлечения и предшествующего поворота каждый последующий фактор учитывает все меньше и меньше ковариации / корреляции, так же как каждый последующий компонент учитывает все меньшую и меньшую дисперсию: в обоих случаях столбцы матрицы загрузки A располагаются в порядке убывания сумма квадратов элементов (нагрузок) в них. Нагрузка является коэффициентом корреляции и переменной; поэтому можно сказать, что 1-й фактор объясняет наибольшую часть «общего» квадрата r в матрице R , 2-й фактор здесь второй и т. д. Разница между FA и PCA, однако, в прогнозировании корреляций по нагрузкам заключается в следующем: FA «откалиброван» для восстановления Rдостаточно просто с m извлеченными факторами (m множителями <p-переменными), в то время как PCA грубо восстанавливает его с помощью m компонентов, - ему нужны все p-компоненты, чтобы восстановить R без ошибок.

PS Просто чтобы добавить. В FA значение нагрузки «состоит» из чистой общности (часть дисперсии, ответственной за корреляцию), тогда как в PCA загрузка представляет собой смесь общности и уникальности переменной и, следовательно, захватывает изменчивость.