В чем разница между непротиворечивой оценкой и объективной оценкой?

125

Я действительно удивлен, что никто, кажется, не спросил это уже ...

При обсуждении оценщиков часто используются два термина: «последовательный» и «беспристрастный». Мой вопрос прост: какая разница?

Точные технические определения этих терминов довольно сложны, и сложно понять, что они означают . Я могу представить себе хорошую оценку и плохую оценку, но мне трудно понять, как любой оценщик может удовлетворить одно условие, а не другое.

MathematicalOrchid
источник
13
Вы смотрели на самую первую фигуру в статье Википедии о последовательных оценках , которая конкретно объясняет это различие?
whuber
4
Я читал статьи как для последовательности, так и для предвзятости, но до сих пор не совсем понимаю различие. (На рисунке вы обратитесь к требованиям , что оценка является состоятельной , но предвзято, но не объясняет , почему .)
MathematicalOrchid
1
С какой частью объяснения вам нужна помощь? Подпись указывает на то, что каждая из оценок в последовательности смещена, и это также объясняет, почему последовательность является последовательной. Вам нужно объяснение того, как смещение в этих оценках видно из рисунка?
whuber
5
+1 Поток комментариев, следующий за одним из этих ответов, очень полезен как тем, что он раскрывает по предмету, так и интересным примером того, как интернет-сообщество может работать для выявления и исправления неправильных представлений.
whuber
Связано: stats.stackexchange.com/questions/173152/…
kjetil b halvorsen

Ответы:

126

Чтобы определить два термина, не используя слишком много технического языка:

  • Оценщик непротиворечив, если при увеличении размера выборки оценки (производимые оценщиком) «сходятся» к истинному значению оцениваемого параметра. Чтобы быть немного более точным - согласованность означает, что с увеличением размера выборки распределение выборки оценки становится все более концентрированным при истинном значении параметра.

  • Оценщик является беспристрастным, если в среднем достигает истинного значения параметра. Таким образом, среднее значение выборочного распределения оценки равно истинному значению параметра.

  • Два не эквивалентны: Объективность - это утверждение об ожидаемом значении выборочного распределения оценки. Согласованность - это утверждение о том, «где происходит распределение выборки оценки» по мере увеличения размера выборки.

Конечно, одно условие может быть выполнено, а другое - нет. Я приведу два примера. Для обоих примеров рассмотрим образец из популяции .X1,...,XnN(μ,σ2)

  • Беспристрастный, но не последовательный: предположим, вы оцениваете . Тогда является несмещенной оценкой так как . Но не согласован, так как его распределение не становится более концентрированным вокруг с увеличением размера выборки - это всегда !μX1μE(X1)=μX1μN(μ,σ2)

  • Последовательно, но не беспристрастно. Предположим, вы оцениваете . Оценка максимального правдоподобия: где образец среднего. Фактом является то, что , которое можно получить, используя приведенную здесь информацию . Поэтому смещен для любого конечного размера выборки. Мы также можем легко вывести, что Из этих фактов мы можем неофициально увидеть, что распределениеσ2

    σ^2=1ni=1n(XiX¯)2
    X¯
    E(σ^2)=n1nσ2
    σ^2σ^2
    var(σ^2)=2σ4(n1)n2
    σ^2становится все более и более сконцентрированным в мере увеличения размера выборки, поскольку среднее значение сходится к а дисперсия сходится к . ( Примечание: это является доказательством последовательности, используя тот же аргумент, который использовался в ответе здесь )σ2σ20
макрос
источник
9
(+1) Хотя не все MLE согласованы: общий результат состоит в том, что в последовательности MLE существует непротиворечивая подпоследовательность. Для надлежащей согласованности требуется несколько дополнительных требований, например, идентифицируемость. Примеры MLE, которые не являются согласованными, встречаются в определенных моделях ошибок в переменных (где «максимум» оказывается седловой точкой).
MånsT
2
Хорошо, EIV MLE, которые я упомянул, возможно, не являются хорошими примерами, так как функция правдоподобия не ограничена и максимум не существует. Это хороший пример того, как подход ML может потерпеть неудачу :) Мне жаль, что я не могу дать соответствующую ссылку прямо сейчас - я в отпуске.
MånsT
Спасибо @ MånsT. Необходимые условия были изложены в ссылке, но это не было ясно из формулировки.
Макро
2
Просто примечание: в этом случае пространство параметров, конечно, не является компактным, в отличие от условий в этой ссылке, и логарифмическая вероятность не вогнута по отношению к . Заявленный результат согласованности, конечно же, остается в силе. σ2
кардинал
2
Вы правы, @cardinal, я удалю эту ссылку. Понятно, что и но я не хочу уходить от отметьте это, превратив это в упражнение по проверке согласованности . E(σ^2)σ2var(σ^2)0σ^2
Макро
24

Согласованность оценки означает, что по мере увеличения размера выборки оценка становится все ближе и ближе к истинному значению параметра. Беспристрастность - это свойство конечной выборки, на которое не влияет увеличение размера выборки. Оценка является несмещенной, если ее ожидаемое значение равно истинному значению параметра. Это будет верно для всех размеров выборки и является точным, тогда как согласованность асимптотическая и только приблизительно равна и не точна.

Сказать, что оценщик является беспристрастным, означает, что если вы взяли много выборок размера и вычислили оценку каждый раз, то среднее значение всех этих оценок будет близко к истинному значению параметра и будет приближаться по мере того, как количество раз вы делаете это, увеличивается , Среднее значение выборки является как последовательным, так и объективным. Выборочная оценка стандартного отклонения является предвзятой, но последовательной.n

Обновите после комментариев в комментариях @cardinal и @Macro: как описано ниже, есть, по-видимому, патологические случаи, когда дисперсия не должна идти до 0, чтобы оценка была строго согласованной, а смещение даже не должно идти 0 тоже нет.

Майкл Черник
источник
9
@MichaelChernick +1 за ваш ответ, но, что касается вашего комментария, дисперсия непротиворечивой оценки не обязательно идет в . Например, если является выборкой из , , то является (сильной) последовательной оценкой , но , для всех . 0(X1,...,Xn)Normal(μ,1)μ01/X¯1/μvar(1/X¯)=n
6
Майкл, тело твоего ответа довольно хорошее; Я думаю, что путаница была внесена вашим первым комментарием, который приводит к двум утверждениям, которые являются явно ложными и потенциальными путаницами. (Действительно, многие студенты уходят от вводного курса по статистике выпускников именно из-за этих неправильных представлений из-за плохой разграничения между различными способами сближения и их значением. Ваш последний комментарий можно было бы принять за суровую сторону.)
кардинал
9
К сожалению, первые два предложения в вашем первом комментарии и весь второй комментарий являются ложными. Но, боюсь, бесполезно пытаться убедить вас в этих фактах.
кардинал
11
Вот заведомо абсурдный, но простой пример. Идея состоит в том, чтобы проиллюстрировать , что именно может пойти не так и почему. Это действительно имеет практическое применение. Пример : рассмотрим типичную модель iid с конечным вторым моментом. Пусть где не зависит от и каждый с вероятностью и равен нулю в противном случае, причем произвольно. Тогда объективен, имеет дисперсию , ограниченную снизу на иZп ˉ Х пZп=±N1/п2>0 θ п2 θ пцθ^n=X¯n+ZnZnX¯nZn=±an1/n2a>0θ^na2θ^nμпочти наверняка (это сильно соответствует). Я оставляю в качестве упражнения дело о предвзятости.
кардинал
-5

Согласованность: очень хорошо объяснено ранее [с увеличением размера выборки оценки (производимые оценщиком) «сходятся» к истинному значению оцениваемого параметра]

Беспристрастность: он удовлетворяет предположениям 1-5 MLR, известным как теорема Гаусса-Маркова

  1. линейность,
  2. случайная выборка
  3. ожидание нулевой условной средней ошибки
  4. нет идеальной коллинеарности
  5. гомоскедастичности

Тогда оценщик называется СИНИМ (лучший линейный несмещенный оценщик

Николина Лангура
источник