Являются ли множественные и многомерные регрессии действительно разными? Что такое вариация в любом случае?
Являются ли множественные и многомерные регрессии действительно разными? Что такое вариация в любом случае?
Очень быстро, я бы сказал: «множественный» относится к числу предикторов, которые входят в модель (или, что то же самое, в матрицу проектирования) с одним результатом (ответ Y), тогда как «многовариантный» относится к матрице векторов ответов. Не могу вспомнить автора, который начинает свой вводный раздел по многомерному моделированию с этого соображения, но я думаю, что это Брайан Эверитт в своем учебнике «Сопутствующий многомерный анализ R и S-Plus» . Для более подробного обсуждения этого я бы предложил взглянуть на его последнюю книгу « Моделирование многих переменных и многомерный анализ для поведенческих наук» .
Для «variate» я бы сказал, что это обычный способ ссылки на любую случайную переменную, которая следует за известным или предполагаемым распределением, например, мы говорим о гауссовых вариациях как серии наблюдений, взятых из нормального распределения (с параметрами и ). В вероятностных терминах мы сказали, что это некоторые случайные реализации X с математическим ожиданием , и ожидается, что около 95% из них будут лежать в диапазоне .
Вот два тесно связанных примера, которые иллюстрируют идеи. Примеры в некоторой степени ориентированы на США, но идеи могут быть перенесены в другие страны.
Пример 1
Предположим, что университет хочет уточнить свои критерии приема, чтобы они могли принимать «лучших» студентов. Также предположим, что средний балл студента (GPA) - это то, что университет желает использовать в качестве показателя эффективности для студентов. Они имеют в виду несколько критериев, таких как средний школьный балл (HSGPA), баллы SAT (SAT), пол и т. Д., И они хотели бы знать, какой из этих критериев имеет значение для GPA.
Решение: множественная регрессия
В приведенном выше контексте есть одна зависимая переменная (GPA), и у вас есть несколько независимых переменных (HSGPA, SAT, Gender и т. Д.). Вы хотите выяснить, какая из независимых переменных является хорошим предиктором для вашей зависимой переменной. Вы должны использовать множественную регрессию, чтобы сделать эту оценку.
Пример 2
Вместо описанной выше ситуации предположим, что приемная комиссия хочет отслеживать успеваемость учащихся во времени и хочет определить, какой из их критериев влияет на успеваемость учащихся во времени. Другими словами, у них есть баллы GPA за четыре года, в течение которых ученик остается в школе (скажем, GPA1, GPA2, GPA3, GPA4), и они хотят знать, какая из независимых переменных прогнозирует баллы GPA лучше по годам. год основания Приемная комиссия надеется обнаружить, что одни и те же независимые переменные прогнозируют производительность на протяжении всех четырех лет, поэтому их выбор критериев приема гарантирует, что успеваемость учащихся неизменно высока на протяжении всех четырех лет.
Решение: многомерная регрессия
В примере 2 у нас есть несколько зависимых переменных (например, GPA1, GPA2, GPA3, GPA4) и несколько независимых переменных. В такой ситуации вы бы использовали многомерную регрессию.
источник
Простая регрессия относится к одной зависимой переменной ( ) и одной независимой переменной ( ):y x y=f(x)
Множественная регрессия (регрессия с несколькими переменными ) относится к одной зависимой переменной и нескольким независимым переменным:y=f(x1,x2,...,xn)
Многомерная регрессия относится к множеству зависимых переменных и множеству независимых переменных: . Вы можете столкнуться с проблемами, когда и зависимые, и независимые переменные расположены в виде матриц переменных (например, и ), поэтому Выражение может быть записано как , где заглавные буквы обозначают матрицы.у 11 , у 12 , . , , х 11 , х 12 , . , , Y = f ( X )y1,y2,...,ym=f(x1,x2,...,xn) y11,y12,... x11,x12,... Y=f(X)
Дальнейшее чтение:
источник
Я думаю, что ключевой момент (и отличительный признак) здесь, помимо количества переменных по обе стороны уравнения, заключается в том, что для случая многомерной регрессии цель состоит в том, чтобы использовать тот факт, что существует (как правило) корреляция между переменными ответа (или результаты). Например, в медицинском исследовании предикторами могут быть вес, возраст и раса, а переменными результата являются артериальное давление и уровень холестерина. Теоретически мы могли бы создать две модели «множественной регрессии», одна из которых регрессировала артериальное давление на вес, возраст и расу, а вторая - регрессировать холестерин по тем же факторам. Тем не менее, в качестве альтернативы, мы могли бы создать одну модель многомерной регрессии, которая предсказывает каккровяное давление и холестерин одновременно на основе трех переменных предиктора. Идея состоит в том, что модель многомерной регрессии может быть лучше (более прогнозирующей) в той мере, в которой она может извлечь больше пользы из корреляции между артериальным давлением и холестерином у пациентов.
источник
В многомерной регрессии существует более одной зависимой переменной с различными дисперсиями (или распределениями). Переменные предиктора могут быть больше одного или нескольких. Так что это может быть множественная регрессия с матрицей зависимых переменных, то есть множественные дисперсии. Но когда мы говорим о множественной регрессии, мы имеем в виду только одну зависимую переменную с одним распределением или дисперсией. Переменные предиктора больше одного. Суммируя множественные, ссылается на более чем одну переменную предиктора, но многовариантная ссылается на более чем одну зависимую переменную.
источник