Я читаю эту статью о разнице между Принципиальным компонентным анализом и множественным дискриминантным анализом (линейный дискриминантный анализ) и пытаюсь понять, почему вы когда-либо использовали PCA вместо MDA / LDA.
Объяснение сводится к следующему:
Грубо говоря, в PCA мы пытаемся найти оси с максимальными отклонениями, где данные наиболее распространены (в пределах класса, поскольку PCA рассматривает весь набор данных как один класс), а в MDA мы дополнительно максимизируем разброс между классами.
Разве вы не хотите всегда максимизировать дисперсию и максимизировать разброс между классами?
Ответы:
Вам не хватает чего-то более глубокого: PCA не является методом классификации.
PCA в машинном обучении рассматривается как метод проектирования функций. Когда вы применяете PCA к своим данным, вы гарантируете, что между полученными функциями не будет никакой корреляции. Многие алгоритмы классификации выигрывают от этого.
Вы всегда должны иметь в виду, что алгоритмы могут иметь допущения в отношении данных, и если такие допущения не выполняются, они могут оказаться неэффективными.
LDA должен вычислить инверсию ковариационной матрицы для проецирования данных (проверьте эти потоки и ответы: следует ли выполнять PCA перед выполнением классификации? И имеет ли смысл объединять PCA и LDA? ). Если у вас мало данных, это нестабильно, и вы получаете переопределенные проекции к вашим точкам данных, то есть особую ковариационную матрицу внутри класса. PCA обычно используется, чтобы избежать этого, уменьшая размерность проблемы.
Таким образом, ответ заключается в том, что вы никогда не используете PCA для проведения классификации, но вы можете использовать его для улучшения производительности LDA.
источник
Принимая во внимание, что предыдущий ответ Firebug является правильным, я хочу добавить другую точку зрения:
Неконтролируемое и контролируемое обучение:
LDA очень полезен для поиска измерений, которые нацелены на разделение кластеров, поэтому вам придется знать кластеры раньше. LDA не обязательно является классификатором, но может использоваться как единое целое. Таким образом, LDA может использоваться только в контролируемом обучении
PCA - это общий подход к шумоподавлению и уменьшению размерности, который не требует дополнительной информации, такой как ярлыки классов, в контролируемом обучении. Поэтому его можно использовать в обучении без учителя.
источник
LDA is not neccesarily a classifier. Читателю (ОП тоже) рекомендуется прочитать этот связанный вопрос: как LDA, метод классификации, также служит методом уменьшения размерности, как PCA .LDA используется для разделения многомерного пространства.
PCA используется для разрушения многомерного пространства.
Например: 3D объекты отбрасывают 2D тени. PCA часто позволяет нам объединять сотни пространственных измерений в несколько меньших пространственных измерений, сохраняя при этом 70% - 90% важной информации.
Как я могу видеть размер и форму вашей руки по ее тени. Я не могу рассказать вам все о форме вашей руки. Но имея коллекцию из 3 или 4 теней от оптимальных известных углов. Тогда я мог бы рассказать вам больше о размере и форме руки.
источник