Почему бы не использовать надежную регрессию каждый раз?

12

Примеры этой страницы показывают, что выбросы заметно влияют на простую регрессию, и это можно преодолеть с помощью методов надежной регрессии: http://www.alastairsanderson.com/R/tutorials/robust-regression-in-R/ . Я считаю, что lmrob и ltsReg - это другие надежные методы регрессии.

Почему бы не делать надежную регрессию (например, rlm или rq) каждый раз, а не выполнять простую регрессию (lm)? Есть ли недостатки этих надежных методов регрессии? Спасибо за ваше понимание.

rnso
источник
2
Это может быть полезно.
сопряженный

Ответы:

6

Теорема Гаусса-Маркова :

В линейной модели со сферическими ошибками (которая включает в себя допущение об отсутствии выбросов через конечную дисперсию ошибок), OLS эффективен в классе линейных несмещенных оценок - существуют (безусловно, ограничивающие) условия, при которых " Вы не можете сделать лучше, чем OLS ".

Кристоф Ханк
источник
Так что, если нет выбросов, лучше всего использовать линейную регрессию. Но если они существуют или если нарушаются другие предположения, то только один должен выполнить надежные регрессии. Это верно?
rnso
2
Если есть выбросы, другие методы лучше, да. Я бы не стал спешить с выводом о том, что «если нарушаются другие предположения, то [...] следует проводить надежные регрессии» - это не панацея от всех нарушений. Fx, когда ошибки коррелируют с регрессорами, и вы находитесь после причинных эффектов, требуются методы инструментальных переменных.
Кристоф Ханк