Какое значение имеет матрица в линейной регрессии?

10

Какова важность шляпной матрицы в регрессионном анализе?H=X(XX)1X

Это только для облегчения расчета?

пользователь 31466
источник
Кроме того, не могли бы вы быть более конкретным?
Стив С.
@ SteveS На самом деле я хочу знать, почему нам нужна шляпная матрица?
пользователь 31466
Вы спрашиваете, почему у нас должно быть специальное имя / символ (то есть «шляпная матрица», « H ») для матрицы, или вы спрашиваете больше о важности матричного продукта с правой стороны?
Стив С.

Ответы:

14

При изучении линейной регрессии основной отправной точкой является процесс генерации данных где и детерминированный. После минимизации критерия наименьших квадратов можно найти оценщик для , то есть . После подключения оценщика к исходной формуле в качестве линейной модели процесса генерирования данных можно получить . Теперь можно заменить оценщик наy= XB + uuN(0,σ2I)XB^BB^=(XX)1Xyy^=XB^B^и получаетy^=X(XX)1Xy.

Таким образом, на самом деле является проекционной матрицей. Представьте, что вы берете все переменные в . Переменные являются векторами и охватывают пространство. Следовательно, если вы умножаете на , вы проецируете свои наблюдаемые значения в на пространство, охватываемое переменными в . Он дает оценки для и именно поэтому он называется шляпной матрицей и почему он так важен. В конце концов, линейная регрессия - не более чем проекция, и с помощью матрицы проекции мы не можем только вычислить оценки дляH=X(XX)1XXHyyXyyно также для и может, например, проверить, действительно ли он распространяется нормально.u

Я нашел эту красивую картинку в интернете, и она визуализирует эту проекцию. Обратите внимание, используется вместо . Кроме того, на рисунке подчеркивается, что вектор слагаемых ошибок ортогонален проекции и, следовательно, не коррелирует с оценками дляβBy

введите описание изображения здесь

случайный парень
источник
5

Шляпная матрица очень полезна по нескольким причинам:

  1. Вместо , мы получаем это где - матрица шляпы. Это дает нам, что является линейным отображением наблюдаемых значений.y^=Zβ^y^=PyPy^
  2. Из шляпной матрицы легко вычислить невязки . Мы видим, что .Pϵ^ϵ^=yy^=yPy=(InP)y
wilsnunn
источник
0

Это не более чем нахождение «ближайшего» решения для Ax = b, где b не находится в пространстве столбцов A. Мы проецируем b на пространство столбцов и решаем для Ax (hat) = p, где p - проекция b на пространство столбца.

Эндрю В
источник
1
Все это может быть сделано без когда - либо вычисления . H
whuber