Можете ли вы привести пример оценки MLE среднего значения, которое смещено?
Я не ищу пример, который нарушает оценки MLE в целом, нарушая условия регулярности.
Все примеры, которые я вижу в Интернете, относятся к расхождению, и я не могу найти ничего, связанного со средним значением.
РЕДАКТИРОВАТЬ
@MichaelHardy предоставил пример, в котором мы получаем предвзятую оценку среднего значения равномерного распределения, используя MLE при определенной предложенной модели.
тем не мение
https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint
предполагает, что MLE является равномерно минимальной несмещенной оценкой среднего значения, явно под другой предложенной моделью.
На данный момент мне все еще не очень понятно, что подразумевается под оценкой MLE, если это очень гипотетически зависимая модель, а не выборочная средняя оценка, которая является нейтральной по модели. В конце я заинтересован в оценке чего-то о населении, и меня не волнует оценка параметра гипотетической модели.
РЕДАКТИРОВАТЬ 2
Как показал @ChristophHanck, модель с дополнительной информацией привела к смещению, но уменьшить MSE не удалось.
У нас также есть дополнительные результаты:
http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (слайд 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (слайд 5)
«Если существует наиболее эффективная несмещенная оценка ˆθ от θ (т. Е. ˆΘ является несмещенной и ее дисперсия равна CRLB), то метод оценки с максимальной вероятностью даст его».
«Более того, если существует эффективная оценка, это оценка ML».
Поскольку MLE со свободными параметрами модели является беспристрастным и эффективным, по определению это «Оценщик максимального правдоподобия»?
РЕДАКТИРОВАТЬ 3
У @AlecosPapadopoulos есть пример с распространением Half Normal на математическом форуме.
/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao
Он не привязывает ни один из его параметров, как в обычном случае. Я бы сказал, что это решает проблему, хотя он не продемонстрировал предвзятости средней оценки.
источник
Ответы:
Кристоф Ханк не опубликовал детали своего предложенного примера. Я так понимаю, он имеет в виду равномерное распределение на интервале основанное на iid выборке X 1 , … , X n размером больше, чем n = 1.[0,θ], X1,…,Xn n=1.
Среднее значение .θ/2
MLE среднего значенияmax{X1,…,Xn}/2.
Это смещено, так как так что EPr(max<θ)=1, E(max/2)<θ/2.
PS: Возможно, мы должны отметить, что лучшая объективная оценка среднего - этонесреднее значение выборки, а n + 1.θ/2
Я подозреваю, что распределение Парето - еще один такой случай. Вот мера вероятности: Ожидаемое значениеα
Я не определил ожидаемое значение MLE для среднего значения, поэтому я не знаю, каково его смещение.
источник
Вот пример, который я думаю, некоторые могут найти удивительным:
В логистической регрессии для любого конечного размера выборки с недетерминированными результатами (т. Е. ), любой оценочный коэффициент регрессии не только смещен, среднее значение коэффициента регрессии фактически не определено.0<pi<1
Это связано с тем, что для любого конечного размера выборки существует положительная вероятность (хотя и очень мала, если число выборок велико по сравнению с количеством параметров регрессии) получить идеальное разделение результатов. Когда это произойдет, оценочные коэффициенты регрессии будут либо либо ∞ . Наличие положительной вероятности того, что либо - ∞, либо ∞, означает, что ожидаемое значение не определено.−∞ ∞ −∞ ∞
Подробнее об этой конкретной проблеме см. Эффект Хаука-Доннера .
источник
Хотя @MichaelHardy высказал эту точку зрения, здесь приведен более подробный аргумент о том, почему MLE максимума (и, следовательно, среднего значения по инвариантности) не является непредвзятым, хотя и находится в другой модели (см. редактирование ниже).θ/2
Оценим верхнюю границу равномерного распределения . Здесь y ( n ) - MLE для случайной выборки y . Покажем, что у ( п )U[0,θ] y(n) y y(n) не беспристрастно. Его cdf это
Таким образом, его плотность равна
fy(n)(x)=
РЕДАКТИРОВАТЬ: Это действительно тот случай, когда (см. Обсуждение в комментариях) MLE несмещен для среднего в случае, когда и нижняя граница и верхняя граница b неизвестны. Тогда минимальный Y ( 1 ) является MLE для a с (детали опущены) ожидаемым значением E ( Y ( 1 ) ) = na b Y(1) a
то время как
E(Y(n))=nb+a
РЕДАКТИРОВАТЬ 2: Чтобы уточнить точку зрения Генри, здесь есть небольшая симуляция для MSE оценок среднего значения, показывающая, что, хотя MLE, если мы не знаем, что нижняя граница равна нулю, является несмещенной, MSE для двух вариантов идентичны , предполагая, что оценщик, который включает в себя знание нижней границы, уменьшает изменчивость.
источник
Завершая здесь упущение в моем ответе на math.se ссылается OP,
Логарифмическая вероятность выборки
The first derivative with respect tov is
so it is a method of moments estimator. It is unbiased since,
But, the resulting estimator for the mean is downward biased due to Jensen's inequality
источник
The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.
Take(Xi,Yi)∼N(μi,σ2) . The MLE of μi is (Xi+Yi)/2 and of σ2 is σ^2=∑ni=11ns2i with s2i=(Xi−μ^i)2/2+(Yi−μ^i)2/2=(Xi−Yi)2/4 which has expected value σ2/4 and so biased by a factor of 2.
источник
There is an infinite range of examples for this phenomenon since
источник