В чем разница между ошибками и остатками?

20

Хотя эти два вездесущих термина часто используются как синонимы, иногда кажется, что есть различие. Есть ли разница, или они являются синонимами?

residuals error terminology Constantin
источник
Посмотрите Qin & Gilbert «Термин ошибки в истории эконометрики временных рядов», чтобы получить исчерпывающее лечение, если у вас есть время. О, но это только для данных временных рядов.
Ричард Харди

Ответы:

20

Ошибки относятся к истинному процессу генерирования данных (DGP), тогда как остатки - это то, что осталось после оценки вашей модели. По правде говоря, допущения, такие как нормальность, гомоскедастичность и независимость, относятся к ошибкам DGP, а не к остаткам вашей модели. (Например, при наличиипараметровв вашей модели толькоостатки могут быть независимыми.) Однако у нас есть доступ только к остаткам, поэтому мы работаем с этим. p+1N−(p+1)

Gung - Восстановить Монику
источник
9
(+1) Остатки можно считать оценками ошибок.
Scortchi - Восстановить Монику
@ABC, DGPобозначает процесс создания данных . Даже если ваша модель является подходящей и отражает истинную структуру DGP, остатки не обязательно будут нормальными, гомоскедастичными и независимыми, если не были ошибки, лежащие в основе.
gung - Восстановить Монику
@ Scortchi Привет, есть ли у вас какие-либо ссылки, которые расширяют ваш комментарий? Я пытаюсь понять, почему именно ошибки могут использоваться в качестве оценок ошибки, потому что я вижу людей, проверяющих нормальность остатков в регрессионном анализе, когда фактическое предположение является нормой ошибки, и я не знаю точно, почему это верно.
Остин
@ Остин, если вы все еще заинтересованы в этом, вы должны задать новый вопрос.
gung - Восстановить Монику
13

Ошибка разница между наблюдаемым значением и истинным значением (очень часто незаметно, порожденного ДГП).

Остаточная разница между наблюдаемым значением и прогнозируемым значением (по модели).

Леопольд В.
источник
В ответ на то, что ошибка «очень часто незаметна», в действительности мы никогда не могли наблюдать абсолютную истинную ценность. Каждое измерительное устройство имеет конечную погрешность, присущую измерительному устройству. Лучшее, на что вы можете претендовать, - это то, что истинное значение в точке равно любому измеренному плюс / минус ошибка наблюдения или ошибка измерения, например, моя линейка может увеличивать расстояния до 1 мм, поэтому лучше всего я могу измерить истинную длину моего карандаш находится в пределах 0,1 мм. Обратите внимание, что это отличается от любой систематической ошибки, например, моя линейка была как-то растянута во время производства и измеряет слишком долго. ±
Стивен Хоуэлл
Эта ссылка ( ece.rochester.edu/courses/ECE111/error_unterminty.pdf ) дает хорошее объяснение со ссылками на тексты Бевингтона и Тейлора по этому вопросу.
Стивен Хоуэлл
На языке машинного обучения остаток - это ошибка обучения, а ошибка - ошибка теста?
Чарльз Чоу
@CharlesChow Это зависит от того, какой набор данных вы используете. Если вы используете тренировочный набор, то это ошибка тренировки; если вы используете набор тестов, то это ошибка теста.
Леопольд В.
7

Термин «ошибка» - это теоретическая концепция, которую никогда не соблюдается, но остаток представляет собой значение реального мира, которое рассчитывается для каждого случая, когда выполняется регрессия.

Кудзай Лемьель Муньюква
источник