Пример Стейна показывает, что оценка максимального правдоподобия нормально распределенных переменных со средними значениями и дисперсиями недопустима (при функции квадрата потерь) тогда и только тогда, когда . Для ясного доказательства см. Первую главу «Вывод в крупном масштабе: эмпирические байесовские методы оценки, тестирования и прогнозирования » Брэдли Эффрона.
Мой вопрос: какое свойство мерного пространства (для ) отсутствует в что облегчает пример Штейна? Возможные ответы могут быть о кривизне сферы или о чем-то совершенно ином.
Другими словами, почему MLE допустимо в ?
Изменить 1: В ответ на озабоченность @mpiktas о 1,31 после 1,30:
так чтоПоэтому имеем:
Редактировать 2 : В этой статье Стейн доказывает, что MLE допустимо для .
Ответы:
Дихотомия между случаями и для допустимости MLE среднего значения мерной многомерной нормальной случайной величины, безусловно, шокирует.d<3 d≥3 d
Есть еще один очень известный пример вероятности и статистики, в котором существует дихотомия между случаями и . Это повторение простого случайного блуждания по решетке . То есть мерное простое случайное блуждание является рекуррентным в 1 или 2 измерениях, но является переходным в измерениях. Аналог непрерывного времени (в форме броуновского движения) также имеет место.d<3 d≥3 Zd d d≥3
Оказывается, что эти два тесно связаны.
Ларри Браун доказал, что два вопроса по сути эквивалентны. То есть, лучший инвариант оценщик о -мерном многомерного нормального вектора средней допустимо тогда и только тогда , когда - мерное броуновское движение является возвратным.μ^≡μ^(X)=X d d
На самом деле его результаты идут гораздо дальше. Для любой разумной (т. Е. Обобщенной байесовской) оценки с ограниченным (обобщенным) риском существует явная (!) Соответствующая мерная диффузия такая, что оценка допустима тогда и только тогда, когда соответствующая диффузия является рекуррентной.μ~≡μ~(X) L2 d μ~
Локальное среднее этой диффузии, по существу , расхождение между этими двумя оценками, т.е. и ковариация диффузии . Отсюда легко видеть, что для случая MLE мы восстанавливаем (пересчитываем) броуновское движение.μ~−μ^ 2I μ~=μ^=X
Таким образом, в некотором смысле мы можем рассмотреть вопрос о допустимости через призму случайных процессов и использовать хорошо изученные свойства диффузий, чтобы прийти к желаемым выводам.
Рекомендации
источник
@cardinal дал отличный ответ (+1), но вся проблема остается загадочной, если только вы не знакомы с доказательствами (а я нет). Поэтому я думаю, что остается вопрос относительно того, что является интуитивной причиной того, что парадокс Стейна не появляется в и .R R2
Я нахожу очень полезным регрессионную перспективу, предложенную в Стивене Стиглере, 1990, «Галтонианская перспектива оценки усадки» . Рассмотрим независимые измерения , каждый из которых измеряет некоторый базовый (ненаблюдаемый) и выбирается из . Если бы мы каким-то образом знали , мы могли бы составить график из пар:Xi θi N(θi,1) θi (Xi,θi)
Диагональная линия соответствует нулевому шуму и совершенной оценке; на самом деле шум не равен нулю, и поэтому точки смещены от диагональной линии в горизонтальном направлении . Соответственно, можно рассматривать как линию регрессии на . Однако мы знаем и хотим оценить , поэтому нам лучше рассмотреть линию регрессии на - которая будет иметь другой наклон, смещенный по горизонтали , как показано на рисунке (пунктирная линия).θ=X θ=X X θ X θ θ X
Цитата из статьи Стиглера:
И теперь наступает решающий момент (акцент добавлен):
Я думаю, что это очень ясно показывает, что особенного в и .k=1 k=2
источник