Как MANOVA связана с LDA?

18

В нескольких местах я видел утверждение о том, что MANOVA похожа на ANOVA плюс линейный дискриминантный анализ (LDA), но он всегда выполнялся в виде ручного махания. Я хотел бы знать, что именно это должно означать.

Я нашел различные учебники, описывающие все детали вычислений MANOVA, но, кажется, очень трудно найти хорошее общее обсуждение (не говоря уже о рисунках ), доступное для тех, кто не является статистиком.

амеба говорит восстановить монику
источник
2
Мои собственные локальные отчеты о родственниках LDA ANOVA и MANOVA - это , это . Может быть, они машут руками, но они в какой-то степени затрагивают вашу тему. Ключевое высказывание гласит, что «LDA - это MANOVA, погруженная в скрытую структуру». MANOVA - очень богатая установка для проверки гипотез; среди прочего он может анализировать скрытую структуру различий; этот анализ включает в себя LDA.
ttnphns
1
@ttnphns, я боюсь, что мой предыдущий комментарий не был доставлен (я забыл указать ваше имя пользователя), поэтому позвольте мне повторить: Вау, спасибо, ваши связанные ответы, похоже, очень связаны с моим вопросом, и я, должно быть, пропустил их в моем поиске перед публикацией. Мне понадобится некоторое время, чтобы переварить их, и после этого я, возможно, вернусь к вам, но, может быть, вы уже сейчас могли бы указать мне на некоторые статьи / книги по этим темам? Я люблю , чтобы увидеть подробное обсуждение этого материала в стиле ваших связанных ответов.
амеба говорит восстановить монику
Всего один старый и классический аккаунт webia.lip6.fr/~amini/Cours/MASTER_M2_IAD/TADTI/HarryGlahn.pdf . Кстати, я не читал это сам до сих пор. Еще одна связанная статья dl.acm.org/citation.cfm?id=1890259 .
ttnphns
@ttnphns: Спасибо. Я сам написал ответ на свой вопрос, в основном предоставив несколько иллюстраций и конкретный пример вашего превосходного связанного ответа на LDA / MANOVA. Я думаю, что они хорошо дополняют друг друга.
говорит амеба: восстанови монику

Ответы:

21

В двух словах

Как один из способов MANOVA и ЛД начать с разложением общего разброса матрицей в матрицу рассеяния в классе Вт , а также между классом-Разбросом матрицей В , таким образом, что Т = Ш + В . Отметим , что это совершенно аналогично тому , как однофакторного дисперсионного анализа разлагается общая сумма-квадратов T в пределах-класса , так и между суммами-класса-квадратов: Т = B + W . В ANOVA отношение B / W затем вычисляется и используется для нахождения значения p: чем больше это отношение, тем меньше значение p. MANOVA и LDA составляют аналогичное многомерное количество W - 1TWВTзнак равноW+ВTTзнак равноВ+WВ/W .W-1В

С этого момента они разные. Единственная цель MANOVA - проверить, одинаковы ли средства всех групп; это нулевая гипотеза означает, что должна быть одинаковой по размеру W . Таким образом, MANOVA выполняет собственное разложение W - 1 B и находит его собственные значения λ i . Идея состоит в том, чтобы проверить, достаточно ли они велики, чтобы отклонить ноль. Существует четыре распространенных способа формирования скалярной статистики из всего множества собственных значений λ i . Один из способов - взять сумму всех собственных значений. Другой способ - взять максимальное собственное значение. В каждом случае, если выбранная статистика достаточно велика, нулевая гипотеза отклоняется.ВWW-1Вλяλя

Напротив, LDA выполняет собственное разложение и смотрит на собственные векторы (не собственные значения). Эти собственные векторы определяют направления в пространстве переменных и называются дискриминантными осями . Проекция данных на первой дискриминантной оси , имеет самый высокий класс разделения (измеренный , как B / W ); на второй - второй по величине; и т. д. Когда LDA используется для уменьшения размерности, данные могут проецироваться, например, по первым двум осям, а остальные отбрасываются.W-1ВВ/W

Смотрите также отличный ответ @ttnphns в другой ветке, которая охватывает почти ту же тему.

пример

Рассмотрим односторонний случай с зависимыми переменными и k = 3 группами наблюдений (т.е. один фактор с тремя уровнями). Я возьму известный набор данных Ириса Фишера и рассмотрю только длину чашелистика и ширину чашелистика (чтобы сделать его двумерным). Вот график рассеяния:Mзнак равно2Кзнак равно3

Диаграмма рассеяния Fisher Iris

Мы можем начать с вычисления ANOVA с длиной и шириной чашелистика по отдельности. Представьте, что точки данных проецируются вертикально или горизонтально по осям x и y, и выполняется односторонняя ANOVA для проверки, имеют ли три группы одинаковые средние значения. Мы получаем и p = 10 - 31 для длины чашелистика, и F 2 , 147 = 49 и p = 10 - 17 для ширины чашелистика. Итак, мой пример довольно плохой, так как три группы значительно отличаются по смешным значениям р по обоим показателям, но я все равно буду придерживаться этого.F2,147знак равно119пзнак равно10-31F2,147знак равно49пзнак равно10-17

Теперь мы можем выполнить LDA, чтобы найти ось, которая максимально разделяет три кластера. Как описаны выше, вычисляется полная разброс матрица , в пределах класса рассы матрица W и между классом рассой матрицей В = Т - W и найти собственные векторы W - 1 Б . Я могу построить оба собственных вектора на одном графике рассеяния:TWВзнак равноT-WW-1В

Fisher Iris LDA

Пунктирные линии - дискриминантные оси. Я построил их с произвольной длиной, но на более длинной оси показан собственный вектор с большим собственным значением (4.1), а более короткий - с меньшим собственным значением (0.02). Обратите внимание, что они не ортогональны, но математика LDA гарантирует, что проекции на эти оси имеют нулевую корреляцию.

Fзнак равно305пзнак равно10-53пзнак равно10-5

W-1ВВ/WFзнак равноВ/W(N-К)/(К-1)знак равно4,1147/2знак равно305Nзнак равно150Кзнак равно3

λ1знак равно4,1λ2знак равно0.02пзнак равно10-55

F(8,4)

Fisher Iris LDA модифицированный

пзнак равно10-55пзнак равно0,26пзнак равно10-54~5п0,05п

MANOVA против LDA как машинное обучение против статистики

Сейчас мне кажется, что это один из примеров того, как разные сообщества машинного обучения и сообщества статистики подходят к одному и тому же. Каждый учебник по машинному обучению охватывает LDA, показывает красивые картинки и т. Д., Но в нем даже не упоминается MANOVA (например, Bishop , Hastie и Murphy ). Вероятно, потому, что людей больше интересует точность классификации LDA (что примерно соответствует величине эффекта), и они не заинтересованы в статистической значимости различий в группах. С другой стороны, в учебниках по многомерному анализу будет обсуждаться MANOVA до тошноты, предоставляться множество табличных данных (arrrgh), но редко упоминается LDA и даже реже показываются какие-либо графики (напримерАндерсон или Харрис ; однако Rencher & Christensen do и Huberty & Olejnik даже называют «MANOVA и дискриминантный анализ»).

Факториал МАНОВА

Факториал MANOVA гораздо более запутанный, но его интересно рассмотреть, потому что он отличается от LDA в том смысле, что «факториальный LDA» на самом деле не существует, а факториальный MANOVA напрямую не соответствует никакому «обычному LDA».

32знак равно6

факториал МАНОВА

На этом рисунке все шесть «ячеек» (я также буду называть их «группами» или «классами») хорошо разделены, что, конечно, редко случается на практике. Обратите внимание, что здесь очевидно, что есть существенные основные эффекты обоих факторов, а также значительный эффект взаимодействия (потому что верхняя правая группа смещена вправо; если бы я переместил ее в положение «сетки», то не было бы эффект взаимодействия).

Как в этом случае работают вычисления MANOVA?

Во-первых, MANOVA вычисляет объединенную матрицу рассеяния WВAВAW-1ВA

ВВВAВ

Tзнак равноВA+ВВ+ВAВ+W,
Вне может быть однозначно разложен на сумму трех вкладов факторов, потому что факторы больше не являются ортогональными; это похоже на обсуждение SS типа I / II / III в ANOVA.]

ВAWAзнак равноT-ВA

W-1ВA

амеба говорит восстановить монику
источник
+1, это был хороший отчет об этом. я изменилB^-1 W на W^-1 B. Ваша картина с дискриминантами в качестве осей похожа на мой собственный сюжет , я полагаю, что вы использовали тот же подход "неортогонального вращения в соответствии с нормированными собственными векторами".
ttnphns
Я нашел немного туманным MANOVA accounts for the fact that we fitted the discriminant axis to get the minimum possible value and corrects for possible false positive. МАНОВА, конечно, не знает о том, что мы делаем LDA. MANOVA просто потребляет больше df, чем ANOVA, потому что это 2-мерный тест, поэтому мощность значения p должна составлять -54 вместо -55.
ttnphns
Я сомневаюсь, что следует говорить в терминах р-значений. Вместо этого ключевой момент, который MANOVA анализирует ту же матрицуW^-1 B что и LDA. LDA создает скрытые переменные (дискриминанты) из него. МАНОВА не делает; тем не менее, он исследует вышеупомянутую матрицу более всесторонне, вычисляя различные статистические данные (такие как след Пиллаи, след Хоттелинга), чтобы основывать их на тестировании.
ttnphns
Сюжет, который будет метафорой MANOVA (и я думаю, что вы, возможно, захотите добавить его к своему ответу) в отличие от LDA (ваша вторая картинка), будет сюжетом, на котором 3 центроида соединены с большим центроидом пунктирными линиями. ,
ttnphns
И, наконец, я не думаю, что вы правы, когда взвешиваете настолько большую разницу в статистике и машинном обучении. Я изучил статистический анализ данных, прежде чем услышал словоmachine learning в первый раз. И тексты, которые я прочитал, обсуждали LDA довольно много, вместе с MANOVA.
ttnphns