Почему мы говорим «Остаточная стандартная ошибка»?

14

Стандартной ошибкой является оценочное стандартное отклонение оценки для параметра . & thetas ; & thetasσ^(θ^)θ^θ

Почему расчетное стандартное отклонение от остатков называется «остаточной стандартной ошибкой» (например, при выводе функции R summary.lm), а не «остаточное стандартное отклонение»? Какую оценку параметров мы снабжаем здесь стандартной ошибкой?

Рассматриваем ли мы каждый остаток как оценщик для «своего» члена ошибки и оцениваем «объединенную» стандартную ошибку всех этих оценок?

r standard-error residuals terminology Майкл М
источник
6
Я думаю, что это R вещь. Я не думаю, что другое программное обеспечение обязательно использует это выражение, и «остаточное стандартное отклонение» обычно встречается в учебниках, например. У меня нет ответа, но я всегда думал, что странно, что R использует эту фразу.
Gung - Восстановить Монику
@ Gung: это может быть объяснение! При поиске "остаточной стандартной ошибки" в кавычках я получаю только 0,1% обращений, чем без кавычек ...
Майкл М
Я мог бы поставить это как (не) ответ, если вы предпочитаете.
gung - Восстановить Монику
1
@ Забавно, что забавно, как использование определенного программного обеспечения формирует ваше мышление: я бы никогда не назвал это «остаточным sd» - остатки - это не данные, а ошибки, поэтому остаточная ошибка кажется правильным именем. Но если вы думаете об этом, это действительно кажется R-вещь.
Тим
2
@Tim, это может правильно считаться оценкой стандартного отклонения ошибок , но технически ошибки не являются самими ошибками. И при этом это не стандартная ошибка ошибки SD, для чего это стоит.
gung - Восстановить Монику

Ответы:

12

Я думаю, что формулировка специфична для summary.lm()вывода Р. Обратите внимание, что базовое значение на самом деле называется «сигма» ( summary.lm()$sigma). Я не думаю, что другое программное обеспечение обязательно использует это имя для стандартного отклонения остатков. Кроме того, выражение «остаточное стандартное отклонение» встречается, например, в учебниках. Я не знаю, как это стало выражением, использованным в summary.lm()выводе R , но я всегда думал, что это странно.

Gung - Восстановить Монику
источник
Чем summary.lm(reg)$sigmaотличается от sd(reg$residuals)?
авиаудар
3
@ AndréTerra, правильные степени свободы - это n - p, что и используется в резюме. sd использует var, который использует n - 1 степень свободы. Если вы вручную вычислите стандартное отклонение деления остатков на n - p, вы получите тот же ответ, что и в сводке.
Jdub
3
Чтобы подтвердить банду, я привожу из документации R следующее stats::sigma: неправильное выражение «Остаточная стандартная ошибка» было частью слишком большого количества выходов R (и S), чтобы их можно было легко изменить.
NRH
2

Из моего обучения эконометрике это называется «остаточная стандартная ошибка», потому что это оценка фактического «остаточного стандартного отклонения». Посмотрите на этот связанный вопрос, который подтверждает эту терминологию.

Поиск в Google по термину «остаточная стандартная ошибка» также показывает много совпадений, так что это ни в коем случае не является странностью. Я попробовал оба условия с кавычками, и оба появляются примерно 60000 раз.

Гейзенберг
источник
Интересный. Но почему вы назвали бы оценку стандартного отклонения любой случайной величины (например, слагаемой ошибки, а не конкретной оценки) «стандартной ошибкой»?
Майкл М
Я думаю, нам нужно иметь имя для оценки (чтобы отличить от фактического значения), любое имя так же хорошо, как и другое. Но, несомненно, кто-то, кто более осведомлен об этимологии, может предложить лучшую причину. Обратите внимание, что определенно существует параллель со стандартной ошибкой коэффициента, которая является оценкой стандартного отклонения оценки коэффициента.
Гейзенберг
0

Проще говоря, стандартная ошибка выборки - это оценка того, как далеко среднее значение выборки, вероятно, от среднего значения по совокупности, тогда как стандартное отклонение выборки - это степень, в которой отдельные лица в выборке отличаются от среднего значения по выборке.

Стандартная ошибка - Википедия, свободная энциклопедия

user629019
источник
6
Это правда, но на самом деле не отвечает на вопрос. То, что R называет «остаточной стандартной ошибкой», не является «оценкой того, насколько вероятно среднее значение выборки от среднего значения по совокупности».
gung - Восстановить Монику
0

Подходящая регрессионная модель использует параметры для генерации точечных прогнозов, которые являются средством наблюдаемых ответов, если вы должны были повторить исследование с одинаковыми значениями XX бесконечное число раз ( когда линейная модель верна ).

Разница между этими прогнозируемыми значениями и значениями, используемыми для подгонки модели, называется « Остатки », которые при репликации процесса сбора данных имеют свойства случайных величин со значением 0. Наблюдаемые остатки затем используются для последующей оценки изменчивости этих значений и для оценки выборочного распределения параметров.

Замечания:

Когда остаточная стандартная ошибка точно равна 0, тогда модель идеально соответствует данным (вероятно, из-за переобучения).

Если нельзя доказать, что остаточная стандартная ошибка значительно отличается от изменчивости безусловного отклика, то имеется мало свидетельств того, что линейная модель обладает какой-либо прогнозирующей способностью.

Абхишек Джайсвал
источник