Как проверить, отбираются ли два многомерных распределения из одной и той же популяции?

Скажем, вам даны два многомерных набора данных, скажем, старый и новый, и предполагается, что они были созданы одним и тем же процессом (для которого у вас нет модели), но, возможно, где-то вдоль линии сбора / создания данные, что-то пошло не так. Вы не захотите использовать новые данные как, скажем, набор проверки для старых данных или добавить к старым данным.

Вы можете сделать несколько 1-мерных статистик (для каждой переменной), например, сумму рангов Уилкоксона, и попробовать несколько тестовых исправлений, но я не уверен, что это оптимально (чтобы уловить сложности многомерных данных, не говоря уже о проблемах с несколькими тестами). Один из способов - использовать классификатор и посмотреть, сможете ли вы различить два набора данных (с учетом оптимального классификатора, который является оптимальным). Это, кажется, работает, но все же a) perhpas есть лучший способ b) Он не предназначен для того, чтобы рассказать вам, почему он отличается (если ничего другого, то он будет использовать лучшие предикторы и, возможно, пропустить другие хорошие предикторы, которые были подобраны лучшими)

http://131.95.113.139/courses/multivariate/mantel.pdf

Обсуждаются два возможных способа сделать это, если ваши наборы данных имеют одинаковый размер. Основной подход состоит в том, чтобы вычислить метрику расстояния между вашими двумя наблюдаемыми матрицами. Затем, чтобы определить, является ли это расстояние значительным, вы используете тест перестановки .

Если ваши наборы данных не имеют одинаковый размер, вы можете использовать тест на перекрестное совпадение, хотя он не очень популярен. Вместо теста на перекрестное совпадение вы можете попробовать увеличить или уменьшить выборку ваших данных, чтобы они имели одинаковый размер, а затем использовать один из подходов, упомянутых в первой статье.

Посмотрите на Hotelling's T ^ 2, или, если у вас есть действительно большие данные, посмотрите на это: http://normaldeviate.wordpress.com/2012/07/14/modern-two-sample-tests/