В чем разница между обычным PCA и вероятностным PCA?

15

Я знаю, что обычный PCA не следует вероятностной модели для наблюдаемых данных. Так в чем же принципиальная разница между PCA и PPCA ? В PPCA модель скрытых переменных содержит, например, наблюдаемые переменные , скрытые (ненаблюдаемые переменные ) и матрицу , которая не должна быть ортонормированной, как в обычной PCA. Еще одно отличие, которое я могу себе представить, состоит в том, что обычные PCA предоставляют только основные компоненты, где PPCA обеспечивает вероятностное распределение данных.YИксW

Не мог бы кто-нибудь, пожалуйста, пролить свет на различия между PCA и PPCA?

pca вендетта
источник
2
Смотрите здесь .
Ами Тавори
1
+1. Смотрите мои ответы здесь stats.stackexchange.com/questions/208731, а также здесь stats.stackexchange.com/questions/203087 . Вы читали слайды, на которые ссылались? Кажется, они объясняют все подробно. Можете ли вы следовать этой экспозиции или это слишком сложно?
говорит амеба: восстанови монику
@amoeba, я проследил за слайдами, но у меня есть некоторые отличия, но это не дает мне ясного представления о том, что PPCA может сделать, чего не может PCA? Что происходит технически путем введения скрытых переменных? Оценка ковариации, как в PPCA, может быть выполнена и в обычном PCA? Если бы вы могли добавить ответ, это было бы очень полезно
Вендетта
@amoeba, на эти два вопроса довольно хорошо ответили. В частности, вопрос о главном подпространстве в вероятностном СПС. Это дает мне больше интуиции в понимании оценки основных компонентов В.
Вендетта
Хорошо, я постараюсь опубликовать ответ, но я очень занят в эти дни. Я постараюсь найти время на этой неделе, но могу отложить его до следующей недели. (+1 кстати)
амеба говорит восстановить монику

Ответы:

9

Цель PPCA состоит не в том, чтобы дать лучшие результаты, чем в PCA, а в том, чтобы обеспечить широкий спектр будущих расширений и анализа. В документе четко изложены некоторые преимущества во введении, например:

«Определение меры правдоподобия позволяет сравнивать с другими вероятностными методами, облегчая при этом статистическое тестирование и позволяя применять байесовские модели».

В частности, в последнее время байесовские модели переживают огромный ренессанс, например, VAE, «вариационное байесовское автокодирование», https://arxiv.org/abs/1312.6114 . Расширение PCA, чтобы его можно было использовать в вариационных средах и тому подобном, может дать другому исследователю возможность сказать: «Ой, а что если я сделаю ...?»

Хью Перкинс
источник