Многомерная линейная регрессия против нескольких одномерных моделей регрессии

В настройках одномерной регрессии мы пытаемся моделировать

где вектор из наблюдений, а матрица проектирования с предикторами. Решение: . n X ∈ R n × m m β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

В настройках многомерной регрессии мы пытаемся моделировать

где - это матрица из наблюдений и различных скрытых переменных. Решение: . n p β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Мой вопрос: как это отличается от выполнения другой одномерной линейной регрессии? Я читал здесь, что в последнем случае мы принимаем во внимание корреляцию между зависимыми переменными, но я не вижу этого по математике.$p$

В настройках классической многомерной линейной регрессии мы имеем модель:

где представляет независимые переменные, представляет множественные переменные отклика, а - это термин iid гауссовского шума. Шум имеет нулевое среднее значение и может быть коррелирован по переменным отклика. Максимальное правдоподобное решение для весов эквивалентно решению для наименьших квадратов (независимо от шумовых корреляций) [1] [2]:$X$$Y$$\epsilon$

Это эквивалентно независимому решению отдельной задачи регрессии для каждой переменной ответа. Это видно из того факта, что й столбец (содержащий веса для й выходной переменной) можно получить умножением на столбец (содержит значения переменной ответа ).$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Однако многомерная линейная регрессия отличается от отдельного решения отдельных задач регрессии, поскольку процедуры статистического вывода учитывают корреляции между переменными множественного отклика (например, см. [2], [3], [4]). Например, ковариационная матрица шума отображается в распределениях выборки, статистике испытаний и оценках интервалов.

Другое различие возникает, если мы разрешаем каждой переменной ответа иметь свой собственный набор ковариат:

где представляет ую переменную ответа, а и представляют соответствующий ей набор ковариат и шумового члена. Как указано выше, условия шума могут коррелироваться между переменными отклика. В этом параметре существуют оценщики, которые более эффективны, чем метод наименьших квадратов, и их нельзя сводить к решению отдельных задач регрессии для каждой переменной отклика. Например, см. [1].$Y_i$$i$$X_i$$\epsilon_i$

использованная литература

1. Зеллнер (1962) . Эффективный метод оценки, казалось бы, не связанных регрессий и тестов на смещение агрегации.
2. Хелвиг (2017) . Многомерная линейная регрессия [Слайды]
3. Fox and Weisberg (2011) . Многомерные линейные модели в R. [Приложение к: Сопоставление R с прикладной регрессией]
4. Майтра (2013) . Модели многомерной линейной регрессии. [Слайды]