Почему мы так заботимся о нормально распределенных членах ошибки (и гомоскедастичности) в линейной регрессии, когда нам это не нужно?

Я полагаю, что расстраиваюсь каждый раз, когда слышу, как кто-то говорит, что ненормальность остатков и / или гетероскедастичность нарушают допущения OLS. Для оценки параметров в модели МНК ни одно из этих предположений не является необходимым по теореме Гаусса-Маркова. Я вижу, как это важно в тестировании гипотез для модели OLS, потому что, предполагая, что эти вещи дают нам аккуратные формулы для t-тестов, F-тестов и более общей статистики Вальда.

Но не так уж сложно проверить гипотезы без них. Если мы отбросим только гомоскедастичность, мы сможем легко рассчитать устойчивые стандартные ошибки и кластерные стандартные ошибки. Если мы вообще сбрасываем нормальность, мы можем использовать начальную загрузку и, учитывая другую параметрическую спецификацию для условий ошибки, отношения правдоподобия и тестов множителей Лагранжа.

Просто позор, что мы преподаем это таким образом, потому что я вижу, что многие люди борются с предположениями, с которыми им вообще не нужно встречаться.

Почему мы так сильно подчеркиваем эти предположения, когда у нас есть возможность легко применять более надежные методы? Я что-то упустил?

В эконометрике мы бы сказали, что ненормальность нарушает условия Классической модели нормальной линейной регрессии, в то время как гетероскедастичность нарушает как допущения CNLR, так и Классической модели линейной регрессии.

Но те, которые говорят «... нарушает OLS», также оправданы: название « Обычные наименьшие квадраты» происходит от Гаусса напрямую и по существу относится к нормальным ошибкам. Другими словами, «OLS» - это не аббревиатура для оценки методом наименьших квадратов (что является гораздо более общим принципом и подходом), а CNLR.

Хорошо, это была история, терминология и семантика. Я понимаю суть вопроса ОП следующим образом: «Почему мы должны подчеркивать идеал, если мы нашли решения для случая, когда его нет?» (Поскольку предположения CNLR являются идеальными, в том смысле, что они обеспечивают превосходные свойства оценщика наименьших квадратов "в наличии", и при этом не нужно прибегать к асимптотическим результатам. Помните также, что OLS является максимальной вероятностью, когда ошибки являются нормальными ).

Как идеал, это хорошее место для начала преподавания . Это то, что мы всегда делаем при обучении любому предмету: «простые» ситуации являются «идеальными» ситуациями, свободными от сложностей, с которыми можно столкнуться в реальной жизни и в реальных исследованиях, и для которых не существует определенных решений .

И это то, что я нахожу проблематичным в посте OP: он пишет о надежных стандартных ошибках и начальной загрузке, как будто они являются «превосходными альтернативами» или надежными решениями отсутствия упомянутых обсуждаемых предположений, для которых, кроме того, OP пишет

".. предположения, что люди не должны встречаться"

Почему? Потому что есть какие- то методы борьбы с ситуацией, методы, которые имеют определенную ценность, конечно, но они далеки от идеала? Bootstrap и гетероскедастичность - устойчивые стандартные ошибки не являются решениями - если бы они действительно были, они стали бы доминирующей парадигмой, посылая CLR и CNLR в учебники истории. Но это не так.

Итак, мы начнем с набора допущений, которые гарантируют те свойства оценки, которые мы посчитали важными (это еще одно обсуждение того, действительно ли свойства, обозначенные как желательные, должны быть), так что мы видим, что любое их нарушение имеет последствия, которые нельзя полностью компенсировать с помощью методов, которые мы нашли, чтобы справиться с отсутствием этих допущений. Было бы очень опасно с научной точки зрения передать ощущение, что «мы можем начать наш путь к истине вопроса», потому что просто не можем.

Таким образом, они остаются несовершенными решениями проблемы , а не альтернативным и / или определенно превосходным способом решения проблем . Поэтому мы должны сначала обучить ситуации без проблем, затем указать на возможные проблемы, а затем обсудить возможные решения. В противном случае мы бы подняли эти решения до статуса, которого они на самом деле не имеют.

Если бы у нас было время в классе, где мы впервые представили регрессионные модели для обсуждения начальной загрузки и других техник, которые вы упомянули (включая все их предположения, подводные камни и т. Д.), То я бы согласился с вами, что нет необходимости говорить о нормальности и предположения о гомоскедастичности. Но по правде говоря, когда регрессия впервые вводится, у нас нет времени говорить обо всех этих других вещах, поэтому мы предпочли бы, чтобы студенты были консервативными и проверяли вещи, которые могут не понадобиться, и консультировались со статистиком (или принимали другие статистические данные). класс или 2 или 3, ...) когда предположения не верны.

Если вы скажете студентам, что эти предположения не имеют значения, за исключением случаев, когда ..., большинство из них будут помнить только неважную часть, а не важную часть, когда.

Если у нас есть случай с неравными отклонениями, то да, мы все еще можем уместить линию наименьших квадратов, но все же это «лучшая» линия? или было бы лучше проконсультироваться с кем-то с большим опытом / обучением о том, как соответствовать линиям в этом случае. Даже если мы довольны линией наименьших квадратов, не должны ли мы признать, что предсказания будут иметь разные свойства для разных значений предиктора (ей)? Поэтому проверка на неравные отклонения хороша для последующих интерпретаций, даже если она нам не нужна для тестов / интервалов / и т. Д. что мы используем.

1) редко люди хотят только оценить. Обычно вывод - CI, PI, тесты - это цель или, по крайней мере, ее часть (даже если иногда это делается относительно неформально)

2) Такие вещи, как теорема Гаусса Маркова, не обязательно сильно помогают - если распределение достаточно далеко от нормального, линейная оценка не очень полезна. Нет смысла получать СИНИЙ, если линейная оценка не очень хорошая.

3) такие вещи, как сэндвич-оценки, включают в себя большое количество неявных параметров. Это может быть хорошо, если у вас много данных, но часто люди этого не делают.

4) Интервалы прогнозирования зависят от формы условного распределения, включая хорошее управление дисперсией в наблюдении - вы не можете так легко отбросить детали с помощью PI.

5) такие вещи, как начальная загрузка, часто удобны для очень больших выборок. Иногда они борются в небольших выборках - и даже в выборках среднего размера, часто мы обнаруживаем, что фактические свойства покрытия не похожи на рекламу.

Иными словами, мало что может быть панацеей, которой люди хотели бы, чтобы они были. Все эти вещи имеют свое место, и, безусловно, существует множество случаев, когда (скажем) нормальность не требуется, и когда оценка и вывод (тесты и КИ) могут быть разумно выполнены без необходимости нормальности, постоянной дисперсии и так далее.

Одна вещь, которая часто кажется забытой, это другие параметрические предположения, которые можно сделать вместо этого. Часто люди знают достаточно о ситуации, чтобы сделать достаточно приличное параметрическое предположение (например, скажем ..., что условный отклик будет иметь тенденцию быть правильным, а sd, в значительной степени пропорциональный среднему значению, может заставить нас рассмотреть, скажем, гамма или логнормальную модель); часто это может касаться как гетероскедастичности, так и ненормальности за один раз.

Очень полезным инструментом является симуляция, с помощью которой мы можем исследовать свойства наших инструментов в ситуациях, очень похожих на те, из которых, по-видимому, возникли наши данные, и поэтому использовать их, не зная, что в этих случаях они обладают хорошими свойствами ( или иногда вижу, что они работают не так хорошо, как мы могли бы надеяться).