Определение весов наименьших квадратов: функция R lm против

9

Может кто-нибудь сказать мне, почему я получаю разные результаты от Rвзвешенных наименьших квадратов и ручного решения с помощью матричной операции ?

В частности, я пытаюсь вручную решить , где - диагональная матрица весов, - матрица данных, - ответ вектор. W A bWAx=WbWAb

Я пытаюсь сравнить результаты с R lmфункцией, используя weightsаргумент.

введите описание изображения здесь

Хайтау Ду
источник
Я редактировал теги: это определенно не было [самообучением]. Это также не совсем о GLS (но об очень особом случае), поэтому я удалил и этот.
амеба

Ответы:

13

Как видно из математических выражений для ваших расчетов, вы получаете

((WA)(WA))1((WA)(Wb))=(AW2A)1(AW2b).

Очевидно , ваши веса , а не . Таким образом, вы должны сравнить свой ответ с выводом ВтW2W

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446 

Соглашение является совершенным (с точностью до ошибки с плавающей запятой - внутренне Rиспользует численно более устойчивый алгоритм.)

Whuber
источник
1
Возможно, мы просто говорим о соглашениях программного обеспечения здесь: где программное обеспечение ожидает «весов», оно хочет, чтобы вы дали ему или ? Я думал, что это был ценный вопрос, потому что проблема могла затронуть любой статистический пакет. Независимо от условностей краткий анализ этого ответа показывает, какие альтернативные интерпретации «весов» могут быть разумными и с которыми стоит экспериментировать в любых обстоятельствах. W 2WW2
whuber
Да, я думаю, что это сбивает с толку, я получил выражение из книги по линейной алгебре Гилберта Странга, глава 8.6, где он говорит, что взвешенный наименьший квадрат - это всего лишь корректировка от доW A x = W bAx=bWAx=Wb
Haitao Du
8
Странг прав, но у него обратная педагогическая ориентация: он начинает с ответа, а не с проблемы. Проблема состоит в том, как выполнить аналог процедуры наименьших квадратов, когда дисперсии невязок имеют известные, но разные значения. По различным (но простым) теоретическим причинам данные должны быть взвешены с помощью обратных отклонений (иногда называемых «точностью»). Из этого можно понять, что должен быть квадратным корнем из весов. W
whuber