OLS СИНИЙ. Но что, если мне наплевать на объективность и линейность?

Теорема Гаусса-Маркова говорит нам, что оценка OLS является наилучшей линейной несмещенной оценкой для модели линейной регрессии.

Но предположим, что меня не волнует линейность и непредвзятость. Тогда есть ли какая-либо другая (возможно, нелинейная / смещенная) оценка для модели линейной регрессии, которая наиболее эффективна в предположениях Гаусса-Маркова или в некотором другом общем наборе предположений?

Конечно, есть один стандартный результат: сам OLS является наилучшей несмещенной оценкой, если в дополнение к предположениям Гаусса-Маркова мы также предполагаем, что ошибки нормально распределены. Для некоторого другого конкретного распределения ошибок я мог бы вычислить соответствующую оценку максимального правдоподобия.

Но мне было интересно, есть ли какая-нибудь оценка, которая лучше, чем OLS, в некотором относительно общем наборе обстоятельств?

Несмещенные оценки типичны для вводных курсов по статистике, потому что они: 1) классические, 2) легко анализируемые математически. Нижняя граница Крамера-Рао является одним из основных инструментов для 2). Вне объективных оценок возможно улучшение. Компромисс отклонения является важной концепцией в статистике для понимания того, как предвзятые оценки могут быть лучше, чем несмещенные оценки.

К сожалению, необъективные оценки, как правило, сложнее анализировать. В регрессии, большая часть исследований за последние 40 лет была о предвзятых оценках. Это началось с регрессии гребня (Hoerl and Kennard, 1970). См. Фрэнк и Фридман (1996) и Берр и Фрай (2005) для некоторых обзоров и идей.

$p \geq 3$

Важной частью проблемы отклонения является определение того, как следует изменить смещение. Единого «лучшего» оценщика не существует . В последнее десятилетие редкость была важной частью исследований. См. Hesterberg et al. (2008) для частичного обзора.

$Y$

Я не знаю, в порядке ли вы с оценкой Байеса? Если да, то в зависимости от функции потерь вы можете получить разные оценки Байеса. Теорема Блекуэлла утверждает, что байесовские оценки никогда не бывают беспристрастными. Теоретический аргумент решения гласит, что каждое допустимое правило ((или любое другое правило, с которым оно сравнивается, есть значение параметра, для которого риск настоящего правила (строго) меньше, чем риск правила, против которого оно сравниваемый)) является (обобщенным) правилом Байеса.

Оценки Джеймса-Стейна - это другой класс оценок (которые могут быть получены асимптотически байесовскими методами), которые во многих случаях лучше, чем OLS.

OLS может быть недопустимым во многих ситуациях, и в качестве примера можно привести оценку Джеймса-Стейна. (также называется парадоксом Штейна).

Есть хорошая обзорная статья Кей и Эльдара о предвзятых оценках с целью поиска оценок с минимальной среднеквадратичной ошибкой.