Объясните разницу между множественной регрессией и многомерной регрессией с минимальным использованием символов / математики

Ответы:

54

Очень быстро, я бы сказал: «множественный» относится к числу предикторов, которые входят в модель (или, что то же самое, в матрицу проектирования) с одним результатом (ответ Y), тогда как «многовариантный» относится к матрице векторов ответов. Не могу вспомнить автора, который начинает свой вводный раздел по многомерному моделированию с этого соображения, но я думаю, что это Брайан Эверитт в своем учебнике «Сопутствующий многомерный анализ R и S-Plus» . Для более подробного обсуждения этого я бы предложил взглянуть на его последнюю книгу « Моделирование многих переменных и многомерный анализ для поведенческих наук» .

Для «variate» я бы сказал, что это обычный способ ссылки на любую случайную переменную, которая следует за известным или предполагаемым распределением, например, мы говорим о гауссовых вариациях как серии наблюдений, взятых из нормального распределения (с параметрами и ). В вероятностных терминах мы сказали, что это некоторые случайные реализации X с математическим ожиданием , и ожидается, что около 95% из них будут лежать в диапазоне .Xiμσ2μ[μ2σ;μ+2σ]

хл
источник
1
Даже coursera.org/learn/machine-learning/home/week/2 использует термин многомерная регрессия вместо множественной регрессии ...
Франк Дернонкур
Я думаю, что такая же путаница возникает с людьми, использующими термин GLM для Общей Линейной Модели (например, в исследованиях нейровизуализации) против Обобщенной Линейной Модели. Я видел много случаев «многомерной логистической регрессии», когда есть только один результат, и я не думаю, что это имеет значение так долго, пока этот термин четко определен автором.
chl
39

Вот два тесно связанных примера, которые иллюстрируют идеи. Примеры в некоторой степени ориентированы на США, но идеи могут быть перенесены в другие страны.

Пример 1

Предположим, что университет хочет уточнить свои критерии приема, чтобы они могли принимать «лучших» студентов. Также предположим, что средний балл студента (GPA) - это то, что университет желает использовать в качестве показателя эффективности для студентов. Они имеют в виду несколько критериев, таких как средний школьный балл (HSGPA), баллы SAT (SAT), пол и т. Д., И они хотели бы знать, какой из этих критериев имеет значение для GPA.

Решение: множественная регрессия

В приведенном выше контексте есть одна зависимая переменная (GPA), и у вас есть несколько независимых переменных (HSGPA, SAT, Gender и т. Д.). Вы хотите выяснить, какая из независимых переменных является хорошим предиктором для вашей зависимой переменной. Вы должны использовать множественную регрессию, чтобы сделать эту оценку.

Пример 2

Вместо описанной выше ситуации предположим, что приемная комиссия хочет отслеживать успеваемость учащихся во времени и хочет определить, какой из их критериев влияет на успеваемость учащихся во времени. Другими словами, у них есть баллы GPA за четыре года, в течение которых ученик остается в школе (скажем, GPA1, GPA2, GPA3, GPA4), и они хотят знать, какая из независимых переменных прогнозирует баллы GPA лучше по годам. год основания Приемная комиссия надеется обнаружить, что одни и те же независимые переменные прогнозируют производительность на протяжении всех четырех лет, поэтому их выбор критериев приема гарантирует, что успеваемость учащихся неизменно высока на протяжении всех четырех лет.

Решение: многомерная регрессия

В примере 2 у нас есть несколько зависимых переменных (например, GPA1, GPA2, GPA3, GPA4) и несколько независимых переменных. В такой ситуации вы бы использовали многомерную регрессию.


источник
2
Всегда есть тот, который правильно отвечает на вопрос с примерами :)
Tjorriemorrie
100% лучший ответ, который вы можете понять
Alvis
21

Простая регрессия относится к одной зависимой переменной ( ) и одной независимой переменной ( ):yxy=f(x)

Множественная регрессия (регрессия с несколькими переменными ) относится к одной зависимой переменной и нескольким независимым переменным:y=f(x1,x2,...,xn)

Многомерная регрессия относится к множеству зависимых переменных и множеству независимых переменных: . Вы можете столкнуться с проблемами, когда и зависимые, и независимые переменные расположены в виде матриц переменных (например, и ), поэтому Выражение может быть записано как , где заглавные буквы обозначают матрицы.у 11 , у 12 , . , , х 11 , х 12 , . , , Y = f ( X )y1,y2,...,ym=f(x1,x2,...,xn)y11,y12,...x11,x12,...Y=f(X)

Дальнейшее чтение:

stackoverflowuser2010
источник
Я понимаю определение. Но каков эффект от рассмотрения многовариантной регрессии как системы однофакторных регрессий?
LKS
@LKS: Вы можете задать это в совершенно отдельном вопросе.
stackoverflowuser2010
Был ли ответ в кворе со ссылкой на эту страницу? : P
Habeeb Perwad
4

Я думаю, что ключевой момент (и отличительный признак) здесь, помимо количества переменных по обе стороны уравнения, заключается в том, что для случая многомерной регрессии цель состоит в том, чтобы использовать тот факт, что существует (как правило) корреляция между переменными ответа (или результаты). Например, в медицинском исследовании предикторами могут быть вес, возраст и раса, а переменными результата являются артериальное давление и уровень холестерина. Теоретически мы могли бы создать две модели «множественной регрессии», одна из которых регрессировала артериальное давление на вес, возраст и расу, а вторая - регрессировать холестерин по тем же факторам. Тем не менее, в качестве альтернативы, мы могли бы создать одну модель многомерной регрессии, которая предсказывает каккровяное давление и холестерин одновременно на основе трех переменных предиктора. Идея состоит в том, что модель многомерной регрессии может быть лучше (более прогнозирующей) в той мере, в которой она может извлечь больше пользы из корреляции между артериальным давлением и холестерином у пациентов.

thecity2
источник
Отличный момент. Мне было интересно, можно ли сделать многомерную регрессию с помощью R. Используя Manova, я могу сделать многомерную ANOVA, но не могу получить такие коэффициенты, как одномерная регрессия.
KarthikS
1

В многомерной регрессии существует более одной зависимой переменной с различными дисперсиями (или распределениями). Переменные предиктора могут быть больше одного или нескольких. Так что это может быть множественная регрессия с матрицей зависимых переменных, то есть множественные дисперсии. Но когда мы говорим о множественной регрессии, мы имеем в виду только одну зависимую переменную с одним распределением или дисперсией. Переменные предиктора больше одного. Суммируя множественные, ссылается на более чем одну переменную предиктора, но многовариантная ссылается на более чем одну зависимую переменную.

Бхабеш Маханта
источник