Если два конкурирующих оценщики thetas ; 1 и & thetas 2 , или нет M S E ( thetas ; 1 ) < M S E ( θ 2 ) говорит, что θ 1 является лучшей оценкой полностью зависит от вашего определения "Лучший". Например, если вы сравниваете непредвзятые оценки и «лучше» вы имеете в виду имеет меньшую дисперсию , то, да, это будет означать , что & thetas 1 лучше. M S Eθ^1θ^2
M S E ( θ^1) < M S E ( θ^2)
θ^1θ^1M S Eявляется популярным критерием из-за его связи с наименьшими квадратами и гауссовским логарифмическим правдоподобием, но, как и многие статистические критерии, следует избегать слепого использования
в качестве меры качества оценки, не обращая внимания на приложение.
M S E
Существуют определенные ситуации, когда выбор оценщика для минимизации может быть не особенно разумным. На ум приходят два сценария:M S E
Если в наборе данных есть очень большие выбросы, то они могут оказать сильное влияние на MSE, и, таким образом, такие выбросы могут оказать чрезмерное влияние на оценку, которая минимизирует MSE. В таких ситуациях тот факт, что оценщик минимизирует MSE, на самом деле мало о чем говорит, поскольку, если вы удалили выбросы, вы можете получить совершенно иную оценку. В этом смысле MSE не является «устойчивым» к выбросам. В контексте регрессии этот факт мотивировал М-оценщик Хьюбера (который я обсуждаю в этом ответе), который минимизирует другую функцию критерия (то есть смесь между квадратом и абсолютной ошибкой) при наличии длиннохвостых ошибок ,
Если вы оцениваете ограниченный параметр, сравнение s может быть неуместным, так как в этом случае он по-разному оценивается и недооценивается. Например, предположим, что вы оцениваете дисперсию σ 2 . Затем, если вы сознательно недооцениваете величину, ваше M S E может быть не более σ 4 , тогда как переоценка может привести к значению M S E, которое значительно превышает σ 4 , возможно, даже на неограниченную величину.M S Eσ2M S Eσ4M S Eσ4
Чтобы сделать эти недостатки более ясными, я приведу конкретный пример того, когда из-за этих проблем может не подходить для оценки качества оценки.M S E
Предположим , у вас есть образец из распределения t с ν > 2 степенями свободы, и мы пытаемся оценить дисперсию, которая равна ν / ( ν - 2 ) . Рассмотрим два конкурирующих оценок: & thetas ; 1 : т ч е у п б я в ы е D сек м р л е об в г IИкс1, . , , , XNTν> 2ν/ (ν- 2 ) и θ 2 = 0 , т е г г д л е с с о е т ч е д т Очевидно , М С Е ( θ 2 ) = ν 2
θ^1: Т ч е у п б я ы е д ы м р л е об г я н с е
θ^2= 0 , т е г г д л е с с о е т ч е д т
, и это фактчто
МСЕ( θ 1)={ ∞ , если N , & le ; 4 N , 2M S E ( θ^2) = ν2( ν- 2 )2который может быть получен с использованием
факта, обсуждаемого в этой теме,и
свойствt-распределения.
Таким образом, наивный оценщик превосходит по показателямMSEнезависимо от размера выборки всякий раз, когдаν<4, что довольно смущает. Это также превосходит, когда
(2MSE(θ^1)={∞ν2(ν−2)2(2n−1+6n(ν−4))if ν≤4if ν>4.
tMSEν<4но это относится только к очень небольшим размерам выборки. Выше происходит изза длинный хвостатые природы
траспределения с малыми степенями свободы, что делает
θ 2склонен к очень большим значениям и тому
МСЙштрафует сильно к завышению,то время как
θ -не имеет эту проблему.
(2n−1+6n(ν−4))>1tθ^2MSEθ^1
MSEMSEθ^
S(θ^)=θ^ν/(ν−2)−1−log(θ^ν/(ν−2))
S(θ^1)=∞
MSE соответствует риску (ожидаемой потере) для функции потери квадрата ошибкиL ( αя) = ( αя- а )2 , Функция потери квадрата ошибки очень популярна, но только один из многих. Процедура, которую вы описываете, является правильной при квадратичной потере ошибок; вопрос в том, подходит ли это в вашей проблеме или нет.
источник
Потому что функцияе( х ) = х2 дифференцируемо, это облегчает поиск минимального MSE как с теоретической, так и с числовой точки зрения. Например, в обычных наименьших квадратах вы можете решить экспансию для подобранного наклона и пересечения. С числовой точки зрения у вас есть более эффективные решатели, когда у вас также есть производная.
По моему мнению, среднеквадратическая ошибка обычно перевешивает выбросы. Вот почему часто более надежно использовать среднюю абсолютную ошибку, т.е. использоватье( х ) = | х | как ваша функция ошибки. Однако, поскольку он недифференцируем, он затрудняет работу с решениями.
MSE, вероятно, является хорошим выбором, если условия ошибок обычно распространяются. Если они имеют более толстые хвосты, предпочтительнее более надежный выбор, такой как абсолютное значение.
источник
В Case & Berger Statistical Inference 2nd edition Page 332 говорится, что MSE в равной степени наказывает за переоценку и недооценку, что хорошо в случае местоположения. Однако в случае масштаба 0 является естественной нижней границей, поэтому задача оценки не является симметричной. Использование MSE в этом случае имеет тенденцию прощать недооценки.
Возможно, вы захотите проверить, какой оценщик удовлетворяет свойствам UMVUE, что означает использование нижней границы Крамера-Рао. Страница 341.
источник