Почему нормальность остатков «едва важна вообще» для оценки линии регрессии?

21

Гельман и Хилл (2006) пишут на стр. 46, что:

Предположение регрессии, которое обычно наименее важно, состоит в том, что ошибки обычно распределяются. Фактически, для оценки линии регрессии (по сравнению с прогнозированием отдельных точек данных) предположение о нормальности едва ли вообще важно. Таким образом, в отличие от многих учебников по регрессии, мы не рекомендуем диагностику нормальности остатков регрессии.

Гельман и Хилл, кажется, не объясняют этот момент дальше.

Гельман и Хилл правы? Если так, то:

  1. Почему "едва ли важно"? Почему это ни важно, ни совершенно неактуально?

  2. Почему нормальность невязок важна при прогнозировании отдельных точек данных?

Gelman, A. & Hill, J. (2006). Анализ данных с использованием регрессионных и многоуровневых / иерархических моделей. Издательство Кембриджского университета

user1205901 - Восстановить Монику
источник

Ответы:

21

Для оценки нормальность не совсем предположение, но основным соображением будет эффективность; во многих случаях хороший линейный оценщик будет работать хорошо, и в этом случае (по Гауссу-Маркову) оценка LS будет лучшей из тех вещей, которые могут быть в порядке. (Если ваши хвосты довольно тяжелые или очень легкие, имеет смысл рассмотреть что-то еще)

В случае тестов и КИ, хотя предполагается нормальность, обычно это не так уж важно (опять же, если хвосты не очень тяжелые или легкие, или, возможно, один из них), в этом, по крайней мере, в не очень Для небольших выборок тесты и типичные КИ, как правило, имеют близкие к своим номинальным свойствам (не слишком далеко от заявленного уровня значимости или охвата) и хорошо работают (разумная мощность для типичных ситуаций или КИ не слишком шире, чем альтернативы) - при перемещении дальше от обычного случая мощность может быть более серьезной проблемой, и в этом случае большие выборки, как правило, не улучшат относительную эффективность, поэтому, если размеры эффекта таковы, что мощность в тесте с относительно хорошей мощностью является средней, она может быть очень плохой для испытаний, которые предполагают нормальность.

Эта тенденция иметь близкие к номинальным свойствам для элементов конфигурации и уровней значимости в тестах объясняется тем, что несколько факторов работают вместе (одним из которых является тенденция линейных комбинаций переменных иметь близкое к нормальному распределению при условии, что задействовано много значений и ни один из них не вносит большой вклад в общую дисперсию).

Однако в случае интервала прогнозирования, основанного на нормальном допущении, нормальность является относительно более критичной, поскольку ширина интервала сильно зависит от распределения одного значения. Тем не менее, даже там, для самого распространенного размера интервала (интервал 95%), тот факт, что многие унимодальные распределения имеют очень близкое к 95% их распределение в пределах примерно 2 секунды от среднего значения, имеет тенденцию приводить к разумной производительности нормального интервала прогнозирования, даже если когда распределение не нормально. [Это не очень хорошо переносится на гораздо более узкие или более широкие интервалы - скажем, интервал 50% или интервал 99,9% - все же.]

Glen_b - Восстановить Монику
источник
«Тенденция линейных комбинаций переменных иметь близкое к нормальному распределению». - Я полагаю, это не связано с центральной предельной теоремой. Это? Если нет, то что это за «теорема»?
Гейзенберг
1
@ Heisenberg У этого есть связь с определенными версиями CLT, да. (см. версии Ляпунова и Линдеберга здесь ). Если вы хотите, чтобы теорема применялась для конечных выборок, мы смотрим на версию теоремы Берри-Эссеена. Но утверждение было предназначено скорее для наблюдения (отсюда и использование слова «тенденция»), чем для теоремы.
Glen_b
7

2. При прогнозировании отдельных точек данных доверительный интервал вокруг этого прогноза предполагает, что остатки обычно распределяются.

Это не сильно отличается от общего предположения о доверительных интервалах - чтобы быть верным, нам нужно понять распределение, и наиболее распространенным предположением является нормальность. Например, стандартный доверительный интервал вокруг среднего значения работает, поскольку распределение выборочных средних приближается к нормальному, поэтому мы можем использовать распределение z или t

zbicyclist
источник