У меня путаница в оценках предвзятого максимального правдоподобия (ML). Математика всей концепции довольно ясна для меня, но я не могу понять интуитивное обоснование этого.
Учитывая определенный набор данных, который имеет выборки из распределения, который сам является функцией параметра, который мы хотим оценить, оценщик ML приводит к значению для параметра, который, скорее всего, произведет набор данных.
Я не могу интуитивно понять предвзятую оценку ML в том смысле, что: как наиболее вероятное значение параметра может предсказать реальное значение параметра со смещением в сторону неправильного значения?
Ответы:
Учитывая допущения, оценщик ML является значением параметра, который имеет наилучшие шансы для создания набора данных.
Смещение касается ожиданий распределения выборки. «Скорее всего, для получения данных» не об ожиданиях распределения выборки. Почему они должны были идти вместе?
На каком основании удивительно, что они не обязательно соответствуют?
Я бы посоветовал вам рассмотреть несколько простых случаев MLE и подумать, как возникает разница в этих конкретных случаях.
В качестве примера рассмотрим наблюдения на униформе на . Самое большое наблюдение (обязательно) не больше, чем параметр, поэтому параметр может принимать значения, по крайней мере, такие же, как самое большое наблюдение.(0,θ)
Когда вы рассматриваете вероятность для , она (очевидно) тем больше, чем ближе θ к наибольшему наблюдению. Так что это максимизируется при самом большом наблюдении; это явно оценка для θ, которая максимизирует вероятность получения образца, который вы получили:θ θ θ
Но с другой стороны, это должно быть предвзятым, поскольку наибольшее наблюдение, очевидно (с вероятностью 1), меньше истинного значения ; любая другая оценка θ, которая еще не исключена самим образцом, должна быть больше, чем она, и (совершенно очевидно в этом случае) должна быть менее вероятной для получения образца.θ θ
Ожидание наибольшего наблюдения от равно nU(0,θ) , такобычный способ unbias это взятькачестве оценки отthetas: θ =п+1nn+1 θ , гдеX(n)- наибольшее наблюдение.θ^=n+1nX(n) X(n)
Это лежит справа от MLE, и поэтому имеет меньшую вероятность.
источник
источник
Вот моя интуиция.
Смещение - это мера точности , но есть и понятие точности .
В идеальном мире мы получили бы оценку, которая является одновременно точной и точной, то есть всегда попадает в яблочко. К сожалению, в нашем несовершенном мире мы должны сбалансировать точность и точность. Иногда мы можем чувствовать, что можем дать немного точности, чтобы получить больше точности: мы постоянно идем на компромисс. Следовательно, тот факт, что оценщик смещен, не означает, что он плохой: возможно, он более точный.
источник