Что такое остаточная стандартная ошибка?

При запуске модели множественной регрессии в R один из выходных сигналов представляет собой остаточную стандартную ошибку 0,0589 при 95 161 степени свободы. Я знаю, что 95 161 степень свободы определяется разницей между количеством наблюдений в моей выборке и количеством переменных в моей модели. Какова остаточная стандартная ошибка?

Подходящая регрессионная модель использует параметры для генерации точечных прогнозов, которые являются средством наблюдаемых ответов, если вы должны были повторить исследование с тем же $X$ значениями бесконечное число раз (и когда линейная модель верна). Разница между этими прогнозируемыми значениями и значениями, используемыми для подгонки модели, называется «остатками», которые при репликации процесса сбора данных имеют свойства случайных величин со значением 0.

Наблюдаемые остатки затем используются для последующей оценки изменчивости этих значений и для оценки выборочного распределения параметров. Когда остаточная стандартная ошибка точно равна 0, тогда модель идеально соответствует данным (вероятно, из-за переобучения). Если нельзя доказать, что остаточная стандартная ошибка значительно отличается от изменчивости безусловного отклика, то имеется мало свидетельств того, что линейная модель обладает какой-либо прогнозирующей способностью.

Скажем, у нас есть следующая таблица ANOVA (адаптированная из команды R example(aov)):

          Df Sum Sq Mean Sq F value Pr(>F)
Model      1   37.0   37.00   0.483  0.525
Residuals  4  306.3   76.57               

Если вы разделите сумму квадратов из любого источника вариации (модели или остатков) на соответствующие степени свободы, вы получите среднее значение квадрата. Особенно для остатков:

Таким образом, 76,57 является средним квадратом невязок, т. Е. Величиной остаточного (после применения модели) отклонения вашей переменной ответа.

Остаточная стандартная ошибка$\sqrt{76.57}$ или приблизительно 8,75. R выдаст эту информацию как «8,75 на 4 степени свободы».

$\beta_{0}$$\beta_{1}$$\epsilon$$\epsilon$

RSE объясняется довольно ясно в "Введение в статистическое обучение".