Как остатки связаны с основными нарушениями?

В методе наименьших квадратов мы хотим оценить неизвестные параметры в модели:

Как только мы это сделаем (для некоторых наблюдаемых значений), мы получим подогнанную линию регрессии:

Теперь очевидно, что мы хотим проверить некоторые графики, чтобы убедиться, что предположения выполнены. Предположим, вы хотите проверить гомоскедастичность, однако для этого мы фактически проверяем невязки . Допустим, вы изучаете график зависимости остаточных и прогнозируемых значений, если это показывает нам, что гетероскедастичность очевидна, то как это связано с нарушением ? Означает ли гетероскедастичность в остатках гетероскедастичность в терминах возмущений? ε $e_j$$\varepsilon_j$

Самый простой способ думать об этом - то, что ваши необработанные остатки ( ) являются оценками соответствующих возмущений ( ). Однако есть некоторые дополнительные сложности. Например, хотя в стандартной модели OLS мы предполагаем, что ошибки / помехи являются независимыми, не все остатки могут быть. В целом, только остатки могут быть независимыми, так как вы использовали степени свободы при оценке средней модели, а остатки ограничены суммой дох J = е J N - р - 1 р - 1 $e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$$0$, Кроме того, стандартное отклонение необработанных остатков фактически не является постоянным. В целом, линия регрессии подобрана так, что она будет в среднем ближе к тем точкам с большим кредитным плечом. В результате стандартное отклонение остатков по этим точкам меньше, чем у точек с низким левереджем. (Более подробно об этом может быть полезно прочитать ответы на некоторые вопросы здесь: Интерпретация plot.lm () и / или здесь: Как выполнить остаточный анализ для двоичных / дихотомических независимых предикторов в линейной регрессии? )

Отношения между и :$\hat{\varepsilon}$$\varepsilon$

где , матрица шляпы, является .X ( X T X ) - 1 X $H$$X(X^TX)^{-1}X^T$

То есть - это линейная комбинация всех ошибок, но обычно большая часть веса приходится на ую.$\hat{\varepsilon}_i$$i$

Вот пример использования carsнабора данных в R. Рассмотрим точку, отмеченную фиолетовым:

Давайте назовем это пунктом . Остаток, , где для других ошибок находится в области -0,02:ε я ≈ 0,98 ε я + Σ J ≠ я ж J ε J ш $i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Мы можем переписать это как:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

или в более общем плане

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

где является -й диагональный элемент . Точно так же, выше - это .$h_{ii}$$i$$H$$w_j$$h_{ij}$

Если ошибки имеют значение то в этом примере взвешенная сумма этих других ошибок будет иметь стандартное отклонение, соответствующее примерно 1/7 влияния ошибки го наблюдения на ее остаток ,$N(0,\sigma^2)$$i$

То есть, в регрессиях с хорошим поведением остатки в большинстве случаев можно рассматривать как умеренно шумную оценку ненаблюдаемого члена ошибки. По мере того, как мы рассматриваем точки дальше от центра, все работает несколько менее красиво (остаток становится менее взвешенным для ошибки, а веса для других ошибок становятся менее равномерными).

Со многими параметрами, или с , не так хорошо распределенными, остатки могут быть намного меньше как ошибки. Вы можете попробовать несколько примеров.$X$