Минимальный размер выборки для PCA или FA, когда основной целью является оценка только нескольких компонентов?

Если у меня есть набор данных с наблюдениями и переменными (измерениями), и, как правило, мало ( ), и может варьироваться от маленького ( ) до, возможно, гораздо большего ( ).p n n = 12 - 16 p p = 4 - 10 p = 30 - $n$$p$$n$$n=12-16$$p$$p = 4-10$$p= 30-50$

Я помню, как узнал, что должно быть намного больше, чем , чтобы выполнить анализ основных компонентов (PCA) или факторный анализ (FA), но, похоже, это не так в моих данных. Обратите внимание, что для моих целей я редко интересуюсь какими-либо основными компонентами после PC2.$n$$p$

Вопросов:

1. Каковы практические правила для минимального размера выборки, когда PCA можно использовать, а когда - нет?
2. Можно ли использовать первые несколько ПК, даже если или ?n < $n=p$$n<p$
3. Есть ли ссылки на это?

4. Имеет ли значение, если ваша основная цель - использовать ПК1 и, возможно, ПК2:

   • просто графически или
   • как синтетическая переменная затем используется в регрессии?

Вы можете измерить, достаточно ли велик размер вашей выборки. Одним из симптомов слишком малого размера выборки является нестабильность.

Начальная загрузка или перекрестная проверка вашего PCA: эти методы нарушают ваш набор данных, удаляя / обменивая небольшую часть вашей выборки, а затем создавая «суррогатные модели» для каждого из нарушенных наборов данных. Если суррогатные модели достаточно похожи (= стабильны), у вас все хорошо. Вы, вероятно, должны будете принять во внимание, что решение PCA не является уникальным: ПК могут перевернуться (умножьте как счет, так и соответствующий основной компонент на ). Вы также можете использовать ротацию Procrustes, чтобы получить модели компьютеров, которые максимально похожи.$-1$

Что касается факторного анализа (а не анализа основных компонентов), то существует довольно много литературы, которая ставит под сомнение некоторые из старых эмпирических правил о количестве наблюдений. Традиционные рекомендации - по крайней мере, в рамках психометрии - состоят в том, чтобы иметь как минимум наблюдений на переменную (с x обычно от 5 до 20 ), поэтому в любом случае n ≫ p .$x$$x$$5$$20$$n \gg p$

Довольно подробный обзор со многими ссылками можно найти по адресу http://www.encorewiki.org/display/~nzhao/The+Minimum+Sample+Size+in+Factor+Analysis.

Тем не менее, основным выводом из недавних имитационных исследований, вероятно, будет то, что качество результатов настолько разнится (в зависимости от сообществ, от числа факторов или отношения факторов к переменным и т. Д.), Что с учетом Отношение переменных к наблюдениям не является хорошим способом выбора необходимого количества наблюдений. Если условия благоприятны, вы можете избежать гораздо меньшего количества наблюдений, чем предполагали старые рекомендации, но в некоторых случаях даже самые консервативные рекомендации слишком оптимистичны. Например, Preacher & MacCallum (2002) получили хорошие результаты с чрезвычайно малыми размерами выборки и но Mundfrom, Shaw & Ke (2005) обнаружили некоторые случаи, когда размер выборки n > 100 $p > n$$n > 100 p$было необходимо. Они также обнаружили, что если число основных факторов останется неизменным, большее количество переменных (и не меньшее, как подразумевается в руководящих принципах, основанных на отношении наблюдений к переменным), может привести к лучшим результатам при небольших выборках наблюдений.

Соответствующие ссылки:

• Mundfrom, DJ, Shaw, DG, & Ke, TL (2005). Рекомендации по минимальному размеру выборки для проведения факторного анализа. Международный журнал испытаний, 5 (2), 159-168.
• Проповедник, KJ & MacCallum, RC (2002). Исследовательский факторный анализ в исследовании генетики поведения: восстановление фактора при малых размерах выборки. Поведенческая генетика, 32 (2), 153-161.
• де Винтер, JCF, Dodou, D. & Wieringa, PA (2009). Исследовательский факторный анализ с небольшими размерами выборки. Многомерное поведенческое исследование, 44 (2), 147-181.

$p\frac{p-1}{2}$$np$

Эквивалентность можно увидеть следующим образом: каждый шаг PCA является проблемой оптимизации. Мы пытаемся найти, в каком направлении выражать наибольшее расхождение. то есть:

$\sigma$

в соответствии с ограничениями:

$\Sigma$$\sigma$

Взятие n = p более или менее эквивалентно угадыванию значения только с двумя данными ... это ненадежно.

$2\frac{n}{p}$

Я надеюсь, что это может быть полезно:

для FA и PCA

«Методы, описанные в этой главе, требуют больших выборок для получения стабильных решений. То, что составляет адекватный размер выборки, несколько сложно. До недавнего времени аналитики использовали эмпирические правила, такие как «факторный анализ требует в 5–10 раз больше субъектов, чем переменных». Недавние исследования показывают, что требуемый размер выборки зависит от количества факторов, количества переменных, связанных с каждым фактором, и от того, хорошо, набор факторов объясняет дисперсию переменных (Bandalos and Boehm-Kaufman, 2009). Я выйду на конечности и скажу, что если у вас есть несколько сотен наблюдений, вы, вероятно, в безопасности ».

Ссылка:

Бандалос, Д. Л. и М. Р. Бём-Кауфман. 2009. «Четыре распространенных заблуждения в исследовательском факторном анализе». В «Статистических и методологических мифах и городских легендах» под редакцией К. Э. Ланса и Р. Дж. Ванденберга, 61–87. Нью-Йорк: Routledge.

из «R in Action» Роберта И. Кабакова, очень информативная книга с полезными советами, охватывающая практически все статистические тесты.