Для моего собственного понимания я заинтересован в том, чтобы вручную повторить вычисление стандартных ошибок оценочных коэффициентов, поскольку, например, они поставляются с выходными данными lm()
функции R
, но не смогли ее определить. Какая формула / реализация используется?
115
Ответы:
Линейная модель записывается как где обозначает вектор ответов, - вектор параметров фиксированных эффектов, - соответствующая матрица дизайна, столбцы которой являются значениями объясняющих переменных, и - вектор случайных ошибок. у β Х & epsi ;
Хорошо известно, что оценка дается (см., Например, статью в Википедии ) Следовательно, [напоминание: для некоторого случайного вектора и некоторой неслучайной матрицы ]& beta ; = ( Х ' х ) - 1 х ' у . Вар ( β ) = ( X ' X ) - 1 Х 'β
так что где можно получить с помощью ошибки среднего квадрата (MSE) в таблице ANOVA.
Пример с простой линейной регрессией в R
Когда есть одна объясняющая переменная, модель сводится к и чтобы и формулы становятся более прозрачными. Например, стандартная ошибка предполагаемого уклона:
источник
lm.fit
/summary.lm
немного отличается, для стабильности и эффективности ...Формулы для них можно найти в любом промежуточном тексте по статистике, в частности, вы можете найти их в Sheather (2009, глава 5) , откуда также взято следующее упражнение (стр. 138).
Следующий код R вычисляет оценки коэффициентов и их стандартные ошибки вручную
который производит вывод
Сравните с выводом из
lm()
:который производит вывод:
источник
solve()
функцией. Это было бы немного дольше без матричной алгебры. Есть ли краткий способ выполнения этой конкретной строки только с базовыми операторами?Часть ответа Окрама неверна. Фактически:
А комментарий к первому ответу показывает, что требуется более подробное объяснение дисперсии коэффициента:
редактировать
Спасибо, я проигнорировал шляпу в этой бета-версии. Вышеприведенный вывод . Правильный результат:wrongly wrong
1.(Чтобы получить это уравнение, установите производную первого порядка от в равную нулю, для максимизации )β^=(X′X)−1X′y. SSR β SSR
2.E(β^|X)=E((X′X)−1X′(Xβ+ϵ)|X)=β+((X′X)−1X′)E(ϵ|X)=β.
3.Var(β^)=E(β^−E(β^|X))2=Var((X′X)−1X′ϵ)=(X′X)−1X′σ2IX(X′X)−1=σ2(X′X)−1
Надеюсь, это поможет.
источник