Для линейной модели решение OLS обеспечивает наилучшую линейную несмещенную оценку параметров.
Конечно, мы можем обменять смещение на более низкую дисперсию, например, на регрессию гребня. Но мой вопрос касается отсутствия предвзятости. Существуют ли какие-либо другие оценщики, которые обычно используются, которые являются несмещенными, но с большей дисперсией, чем оценочные параметры OLS?
Если бы у меня был огромный набор данных, я, конечно, мог бы отбирать его, оценивать параметры с меньшим количеством данных и увеличивать дисперсию. Я предполагаю, что это может быть гипотетически полезно.
Это скорее риторический вопрос, потому что, когда я прочитал об СИНИХ оценках, худшая альтернатива не предоставляется. Я предполагаю, что предоставление худших альтернатив может также помочь людям лучше понять силу СИНИХ оценок.
Ответы:
Один пример, который приходит на ум, - это некоторая оценка GLS, которая взвешивает наблюдения по-разному, хотя это не является необходимым, когда соблюдаются предположения Гаусса-Маркова (что статистику, возможно, не известно, что дело обстоит так, и, следовательно, применимо, все еще применяется GLS).
Рассмотрим случай регрессииyi , i=1,…,n на константу для иллюстрации (легко обобщается на общие оценки GLS). Здесь {yi} предполагается случайной выборкой из совокупности со средним значением μ и дисперсией σ2 .
Тогда мы знаем , что МНК только β = ˉ у , выборочное среднее. Для того, чтобы подчеркнуть , что каждый пункт наблюдения взвешенных с весом 1 / п , написать это как β = п Е я = 1 1β^=y¯ 1/n β^=∑i=1n1nyi.
Хорошо известночтоVar(β^)=σ2/n .
Теперь рассмотрим другую оценку, которую можно записать в видеβ~=∑i=1nwiyi,
где веса таковы, что ∑iwi=1 . Это гарантирует , что оценка является несмещенной, а
E(∑i=1nwiyi)=∑i=1nwiE(yi)=∑i=1nwiμ=μ.
Его дисперсия будет превышать дисперсию OLS, если толькоwi=1/n для всехi (в этом случае она, конечно, уменьшится до OLS), что, например, можно показать с помощью лагранжиана:
Вот графическая иллюстрация из небольшого моделирования, созданного с помощью кода ниже:
In log(s) : NaNs produced
То, что последние три опережают решение OLS, не сразу подразумевается свойством BLUE (по крайней мере, не для меня), так как не очевидно, являются ли они линейными оценщиками (и я не знаю, являются ли MLE и Huber несмещенными).
источник