Какова важность шляпной матрицы в регрессионном анализе?
Это только для облегчения расчета?
regression
multiple-regression
least-squares
пользователь 31466
источник
источник
Ответы:
При изучении линейной регрессии основной отправной точкой является процесс генерации данных где и детерминированный. После минимизации критерия наименьших квадратов можно найти оценщик для , то есть . После подключения оценщика к исходной формуле в качестве линейной модели процесса генерирования данных можно получить . Теперь можно заменить оценщик наy= XB + u u∼N(0,σ2I) X Bˆ B Bˆ=(X′X)−1X′y yˆ=XBˆ Bˆ и получаетyˆ=X(X′X)−1X′y.
Таким образом, на самом деле является проекционной матрицей. Представьте, что вы берете все переменные в . Переменные являются векторами и охватывают пространство. Следовательно, если вы умножаете на , вы проецируете свои наблюдаемые значения в на пространство, охватываемое переменными в . Он дает оценки для и именно поэтому он называется шляпной матрицей и почему он так важен. В конце концов, линейная регрессия - не более чем проекция, и с помощью матрицы проекции мы не можем только вычислить оценки дляH=X(X′X)−1X′ X H y y X y y но также для и может, например, проверить, действительно ли он распространяется нормально.u
Я нашел эту красивую картинку в интернете, и она визуализирует эту проекцию. Обратите внимание, используется вместо . Кроме того, на рисунке подчеркивается, что вектор слагаемых ошибок ортогонален проекции и, следовательно, не коррелирует с оценками дляβ B y
источник
Шляпная матрица очень полезна по нескольким причинам:
источник
Это не более чем нахождение «ближайшего» решения для Ax = b, где b не находится в пространстве столбцов A. Мы проецируем b на пространство столбцов и решаем для Ax (hat) = p, где p - проекция b на пространство столбца.
источник