«Дискриминантный анализ Фишера» - это просто LDA в ситуации 2 классов. Когда есть только 2 класса вычислений вручную, выполнимо, и анализ напрямую связан с множественной регрессией. LDA является прямым расширением идеи Фишера о ситуации любого числа классов и использует устройства матричной алгебры (такие как собственное разложение) для ее вычисления. Таким образом, термин «дискриминантный анализ Фишера» сегодня можно считать устаревшим. Вместо этого следует использовать «линейный дискриминантный анализ». Смотрите также . Дискриминантный анализ с классами 2+ (мультикласс) каноничен по своему алгоритму (извлекает дикриминанты как канонические вариации); редкий термин "канонический дискриминантный анализ"
Фишер использовал так называемые «функции классификации Фишера» для классификации объектов после вычисления дискриминантной функции. В настоящее время для классификации объектов используется более общий байесовский подход в рамках процедуры LDA.
На ваш запрос о объяснениях LDA я могу отправить вам следующие ответы: извлечение в LDA , классификация в LDA , LDA среди связанных процедур . Также это , это , это вопросы и ответы.
Так же, как ANOVA требует допущения о равных дисперсиях, LDA требует допущения о равных дисперсионно-ковариационных матрицах (между входными переменными) классов. Это предположение важно для классификационной стадии анализа. Если матрицы существенно различаются, наблюдения будут относиться к классу, где изменчивость больше. Чтобы преодолеть проблему, был изобретен QDA . QDA - это модификация LDA, которая учитывает вышеуказанную неоднородность ковариационных матриц классов.
Если у вас есть неоднородность (как выявлено, например, с помощью теста Бокса М), и у вас нет QDA под рукой, вы все равно можете использовать LDA в режиме использования отдельных ковариационных матриц (а не объединенной матрицы) дискриминантов при классификации , Это частично решает проблему, хотя и менее эффективно, чем в QDA, потому что - как только что указывалось - это матрицы между дискриминантами, а не между исходными переменными (матрицы которых различались).
Позвольте мне оставить анализ данных вашего примера для себя.
Ответить на ответ и комментарии @ zyxue
LDA - это то, что вы определили FDA в вашем ответе. LDA сначала извлекает линейные конструкции (так называемые дискриминанты), которые максимизируют расстояние между ними, а затем использует их для выполнения (гауссовой) классификации. Если бы (как вы говорите) LDA не было связано с задачей извлечения дискриминантов, LDA представлялось бы просто гауссовым классификатором, то имя «LDA» вообще не понадобилось бы.
SвесSвесs одинаковы, все упомянутые внутриклассовые ковариации идентичны; это право использовать их становится абсолютным.)
Гауссовский классификатор (вторая ступень LDA) использует правило Байеса для назначения наблюдений классам с помощью дискриминантов. Тот же результат может быть достигнут с помощью так называемых функций линейной классификации Фишера, которые напрямую используют оригинальные функции. Тем не менее, байесовский подход, основанный на дискриминантах, является несколько общим в том смысле, что он позволяет использовать отдельные дискриминантные ковариационные матрицы класса, в дополнение к стандартному способу использования единицы, пулированной. Кроме того, это позволит основывать классификацию на подмножестве дискриминантов.
Когда есть только два класса, оба этапа LDA могут быть описаны вместе в одном проходе, потому что «извлечение скрытых элементов» и «классификация наблюдений» сводятся к одной и той же задаче.
Мне трудно согласиться с тем, что FDA - это LDA для двух классов, как предложил @ttnphns.
Я рекомендую две очень информативные и красивые лекции на эту тему профессора Али Годси:
Для меня LDA и QDA похожи, так как они оба являются методами классификации с гауссовыми допущениями. Основное различие между ними заключается в том, что LDA предполагает, что ковариационные матрицы признаков обоих классов одинаковы, что приводит к линейной границе решения. В отличие от этого, QDA менее строгий и допускает разные ковариационные матрицы признаков для разных классов, что приводит к квадратичной границе решения. Посмотрите на следующий рисунок из scikit-learn для идеи, как выглядит граница квадратичного решения.
Некоторые комментарии к участкам :
С другой стороны, FDA - это совсем другой вид, не имеющий ничего общего с предположением Гаусса. FDA пытается найти линейное преобразование, чтобы максимизировать среднее расстояние между классами при минимальной дисперсии внутри класса . Вторая лекция прекрасно объясняет эту идею. В отличие от LDA / QDA, FDA не выполняет классификацию, хотя функции, полученные после преобразования, обнаруженного FDA, могут использоваться для классификации, например, с использованием LDA / QDA, SVM или других.
источник
FDA doesn't do classification, although the features obtained after transformation found by FDA could be used for classification
то я бы сказал, что это то, что я называю «фазой извлечения LDA». Разумеется, эти извлеченные функции (дискриминантные функции) - вы можете использовать их по своему усмотрению. В стандартной классификации LDA они используются в качестве гауссовых классификаторов.