Дисперсионно-ковариационная матрица ошибок в линейной регрессии

12

Как на практике вычисляется матрица ошибок var / cov с помощью пакетов статистического анализа?

Эта идея понятна мне в теории. Но не на практике. Я имею в виду, что если у меня есть вектор случайных величин , я понимаю, что матрице дисперсии / ковариации Σ будет дан внешний продукт отклонения от средние векторы: Σ = E [ ( X - E ( X ) ) ( X - E ( X ) ) ] .Иксзнак равно(Икс1,Икс2,...,ИксN)ΣΣзнак равноЕ[(Икс-Е(Икс))(Икс-Е(Икс))]

Но когда у меня есть выборка, ошибки моих наблюдений не являются случайными величинами. Или лучше, но только если я возьму несколько одинаковых образцов из одной популяции. В противном случае они даны. Итак, опять мой вопрос: как статистический пакет может создать матрицу var / cov, начиная со списка наблюдений (то есть выборки), предоставленного исследователем?

Riccardo
источник
Ошибки ваших наблюдений являются функцией случайных величин (у) и поэтому сами являются случайными. Условно только на X они не даны.
user603
1
Да, я полностью согласен с этим. Но то, что вы говорите, работает в теории. Если я нарисую, скажем, 100 случайных выборок одинакового размера из одной популяции, каждая ошибка наблюдения будет случайной величиной с (0, сигма ^ 2). Что если вместо этого я нарисую только один образец? В этом случае средним значением ошибки каждого наблюдения является сама ошибка. Понятно, что я говорю? Итак, я пытаюсь понять, как пакет, такой как Stata, вычисляет матрицу дисперсии-ковариации, используя только одну выборку из совокупности?
Риккардо

Ответы:

7

Ковариационная матрица для модели типа обычно вычисляется как ( Х т Х ) - 1 σ 2Yзнак равноИксβ+ε , гдеσ2является остаточной суммой квадратов,σ2=Σя(уя-Хя β )2иdпредставляет число степеней свободы (правилочисло наблюдений минус число параметров).

(ИксTИкс)-1σ2d
σ2σ2знак равноΣя(Yя-Иксяβ^)2d

Для устойчивых и / или кластерных стандартных ошибок продукт изменяется незначительно. Также могут существовать другие способы вычисления ковариационной матрицы, например, как предполагается ожиданием внешних продуктов.ИксTИкс

Симен Гауре
источник
3
  1. МНК оценка от дисперсии ошибки , :σ2

s2знак равноε^ε^N-п

Это включено в книгу «Практическая регрессия и анова с использованием R» Джулиана Дж. Фаравея, стр. 21 .

Пример его вычисления в R, на основе линейной модели миль на галлон регрессировавших на нескольких автомобилей модели спецификации , включенной в mtcarsбазе данных: ols = lm(mpg ~ disp + drat + wt, mtcars). Это ручные вычисления и вывод lm()функции:

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom
  1. β^

Вaр[β^|Икс]знак равноσ2(ИксИкс)-1

оценивается как на странице 8 этого онлайн-документа как

Вaр^[β^|Икс]знак равноs2(ИксИкс)-1
> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
Антони Пареллада
источник
2

Yзнак равноβ*Икс+εYИксβИксY

Раджив Самбасиван
источник
Привет Раджив, спасибо за исправление. Итак, можете ли вы объяснить, как Stata (или любой другой пакет статистики), начиная с Y (и epsilon), может вывести матрицу дисперсии-ковариации Sigma?
Риккардо
е^е^'
Согласитесь с пользователем603. Пожалуйста, проверьте страницу 21 файла cran.r-project.org/doc/contrib/Faraway-PRA.pdf . Это основано на R, но включает в себя хорошее обсуждение теории линейной регрессии.
Раджив Самбасиван
Привет обоим, спасибо, прежде всего. Я также согласен с вами, user603, и я ожидал этого ответа. Но если матрица var / cov вычисляется путем вычисления внешнего произведения векторов ошибок, это означает, что cov среди компонентов ошибок в большинстве случаев не будет равно нулю, как предполагает гипотеза независимости. Правильно? Это то, что мое сомнение вращается вокруг. Раджив, я посмотрел хорошее руководство, которое ты предложил, но не смог найти ответ. Заранее благодарю за любой будущий ответ.
Риккардо