Непредвзятая оценка медианы

16

Предположим, у нас есть случайная переменная поддерживаемая на [ 0 , 1 ], из которой мы можем извлечь образцы. Как мы можем придумать объективную оценку медианы XX[0,1]X ?

Конечно, мы можем сгенерировать несколько образцов и взять их медиану, но я понимаю, что в целом это не будет беспристрастным.

Примечание: этот вопрос связан, но не идентичен, с моим последним вопросом , и в этом случае выборка возможна только приблизительно.X

Robinson
источник

Ответы:

13

Такой оценки не существует.

Интуиция заключается в том, что медиана может оставаться фиксированной, в то время как мы свободно смещаем плотность вероятности по обе стороны от нее, так что любой оценщик, среднее значение которого является медианой для одного распределения, будет иметь другое среднее значение для измененного распределения, делая его смещенным. Следующая экспозиция придает немного большей строгости этой интуиции.


Мы сосредоточены на распределение , имеющий уникальные медианы м , так что по определению F ( м ) 1 / 2 и Р ( х ) < 1 / 2 для всех х < м . Зафиксируйте размер выборки n 1 и предположим, что t : [ 0 , 1 ] n[ 0 , 1 ] оценивает m . (Достаточно того, что тFmF(m)1/2F(x)<1/2x<mn1t:[0,1]n[0,1]mtбыть ограничены только, но , как правило , один серьезно не считают оценщики , которые производят явно невозможные значения) Мы не делаем. нет предположений о ; это даже не должно быть непрерывным где-либо.t

Смысл быть беспристрастным (для этого фиксированного размера выборки) заключается в том, чтоt

EF[t(X1,,Xn)]=m

для любого н.о.р. образца с . «Несмещенная оценка» т является один с этим свойством для всех таких F .XiFtF

Предположим, существует объективная оценка. Мы выведем противоречие, применив его к особенно простому набору распределений. Рассмотрим распределения имеющие следующие свойства:F=Fx,y,m,ε

  1. ;0x<y1

  2. ;0<ε<(yx)/4

  3. ;x+ε<m<yε

  4. ;Pr(X=x)=Pr(X=y)=(1ε)/2

  5. ; иPr(mεXm+ε)=ε

  6. равномерно на [ m - ε , m + ε ] .F[mε,m+ε]

Эти распределения помещают вероятность в каждое из x и y, и небольшое количество вероятности симметрично размещается вокруг m между x и y . Это делает м уникальный медиану F . (Если вы обеспокоены тем, что это не непрерывное распределение, то сверите его с очень узким гауссовым распределением и обрежьте результат до [ 0 , 1 ] : аргумент не изменится.)(1ε)/2xymxymF[0,1]

Теперь, для любого предполагаемых медианных оценок , его можно легко оценка показывает , что E [ т ( Х 1 , Х 2 , ... , X п ) ] строго в пределах е от средней величины 2 п значений т ( х 1 , х 2 , , X n ) где x i изменяется во всех возможных комбинациях x и y . Тем не менее, мы можем варьировать мtE[t(X1,X2,,Xn)]ε2nt(x1,x2,,xn)xixymмежду и y - ε - изменение не менее ε (в силу условий 2 и 3). Таким образом, существует m , и, следовательно, соответствующее распределение F x , y , m , ε , для которого это ожидание не равно медиане, QED.x+εyεεmFx,y,m,ε

Whuber
источник
(+1) Nice proof. Did you come up with it, or is it something you remembered from the grad school?
StasK
4
01n[0,1]nkpn1p>1/2n+1p, so this polynomial must be constant... but it must be 0 on lower values of p, so it can't be unbiased there, too.
Douglas Zare
1
@Douglas That's a great proof. I suspect some people might feel a little uneasy about the scope of its applicability, though, because the median for a Bernoulli variable is somewhat special, being coincident with one of its two support points (except when p=1/2). Readers might be tempted to declare this as "pathological" and try to bar such monsters by looking only at continuous distributions with everywhere positive densities on their domains. That's why I took care to show that such efforts will fail.
whuber
3

Finding an unbiased estimator without having a parametric model would be difficult! But you could use bootstrapping, and use that to correct the empirical median to get an approximately unbiased estimator.

kjetil b halvorsen
источник
If this is impossible, is it possible to prove it? For example, if X1,X2,,Xn are independent samples from X then can one prove that f(X1,,Xn) cannot be unbiased for any choice of f?
robinson
2
I think kjetil is saying that in a nonparametric framework there is no method that will give an unbiased estimate for every possible distribution. But in the parametric framework you probably could. Bootstrapping a biased sample estimate can allow you to estimate the bias and adjust it to get a bootstrap estimate that is nearly unbiased. That was his suggestion for handling the problem in the nonparametric framework. Proving that an unbiased estimate is not possible would also be difficult.
Michael R. Chernick
2
If you really want to try to prove that there do not exist an unbiased estimator, there is a book, Ferguson: "Mathematical Statistics - A Decision Theoretic Approach" which do have some examples of that kind of thing!
kjetil b halvorsen
I imagine that the regularity conditions for the bootstrap will be violated with the distribution functions that whuber considers in his answer. Michael, can you comment?
StasK
2
@Stas As I pointed out, my functions can be made to look very "nice" by mollifying them. They can also be generalized to mollifications of large finite mixtures of atoms. The class of such distributions is dense in all distributions on the unit interval, so I don't think bootstrap regularity would be involved here.
whuber
0

I believe quantile regression will give you a consistent estimator of the median. Given the model Y=α+u. And you want to estimate med(y)=med(α+u)=α+med(u) since α is a constant. All you need is the med(u)=0 which should be true so long as you have independent draws. However, as far as unbiasedness, I don't know. Medians are difficult.

Francis
источник
See @whuber 's answer
Peter Flom - Reinstate Monica