Улучшение минимальной оценки

9

Предположим , что у меня есть положительные параметры для оценки и их соответствующие непредвзятые оценки , полученные с помощью оценок , то есть , и так далее.nμ1,μ2,...,μnnμ1^,μ2^,...,μn^E[μ1^]=μ1E[μ2^]=μ2

Я хотел бы оценить используя оценки. Очевидно, что наивный оценщик смещен ниже как min(μ1,μ2,...,μn)min(μ1^,μ2^,...,μn^)

E[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)

Предположим, что у меня также есть ковариационная матрица соответствующих оценщиков . Можно ли получить несмещенную (или менее предвзятую) оценку минимума, используя данные оценки и ковариационную матрицу?Cov(μ1^,μ2^,...,μn^)=Σ

Кагдас Озгенц
источник
Готовы ли вы использовать байесовский подход MCMC или вам нужна какая-то формула закрытой формы?
Мартин Модрак
Но простой подход выборки в порядке? (кроме того, вам не нужны априоры для байесовского анализа, но это уже другая история)
Мартин Модрак,
@ MartinModrák У меня нет опыта выбора подходов. Если я делаю байесовский, я обычно делаю простые сопряженные вещи. Но если вы думаете, что это путь, я пойду вперед и учусь.
Кагдас Озгенц
Что еще вы знаете об этих оценках? Вы знаете выражения? Знаете ли вы распределение данных, используемых для оценки этих параметров?
Wij
@wij Я могу попытаться оценить некоторые другие моменты оценки, если это необходимо. У меня нет аналитического выражения для распределения оценок. Решение не должно (как мое требование) зависеть от распределения самих данных.
Кагдас Озгенц

Ответы:

4

У меня нет четкого ответа о существовании объективной оценки. Тем не менее, с точки зрения ошибки оценки, оценка является сложной проблемой в общем.min(μ1,,μn)

Например, пусть и . Пусть будет целевым значением, а является оценкой . Если мы используем «наивный» оценщик где , тогда ошибка оценки ограничена сверху до постоянного. (Обратите внимание, что ошибка оценки для каждого равна ). Конечно, еслиY1,,YNN(μ,σ2I)μ=(μ1,,μn)θ=miniμiθ^θθ^=mini(Y¯i)Yi¯=1Nj=1NYi,jL2

E[θ^θ]2σ2lognN
μiσ2NμiОни находятся далеко друг от друга, и очень мала, ошибка оценки должна быть уменьшена до . Тем не менее, в худшем случае, нет оценки работает лучше, чем наивный оценщик. Вы можете точно показать, что где инфимум принимает все возможные оценки на основе выборки а супремум принимает все возможные конфигурации .σσ2Nθ
infθ^supμ1,,μnE[θ^θ]2σ2lognN
θY1,,YNμi

Поэтому наивный оценщик минимаксно оптимален с точностью до константы, и в этом смысле нет лучшей оценки .θ

JaeHyeok Shin
источник
Предоставленная дополнительная информация не помогает вообще? Какие дополнительные статистические данные могут быть полезны?
Кагдас Озгенц
Извините за то, что запутался. Я не имел ввиду, что дополнительная информация (ковариация) не помогает. Я просто хотел бы отметить, что оценка минимума нескольких популяционных средств сложна по своей природе. Информация ковариации должна быть полезной. Например, в нормальном случае, если у нас есть идеальные корреляции для всех возможных пар, это означает, что случайные наблюдения происходят из другого среднего значения + общий член шума. В этом случае наивная оценка (минимум выборочных средних) является непредвзятой.
JaeHyeok Shin
3

РЕДАКТИРОВАТЬ: Следующий ответ отвечает на другой вопрос, чем тот, который был задан - он оформлен так, как будто считается случайным, но не работает, когда считается фиксированным, что, вероятно, и имел в виду OP. Если исправлено, у меня нет лучшего ответа, чемμμμmin(μ^1,...,μ^n)


Если мы рассматриваем только оценки для среднего значения и ковариации, мы можем рассматривать как одну выборку из многомерного нормального распределения. Простой способ получить оценку минимума состоит в том, чтобы затем извлечь большое количество выборок из , вычислить минимум каждой выборки и затем взять среднее из этих минимумов.(μ1,...,μn)MVN(μ^,Σ)

Описанную выше процедуру и ее ограничения можно понять в байесовских терминах - взяв обозначение из Википедии о MVN , если - известная ковариантность оценок, и у нас есть одно наблюдение, совместное апостериорное распределение - где и возникают из предшествующего, где перед наблюдением любых данных мы берем предшествующий ). Так как вы, вероятно, не хотите ставить априоры на , мы можем принять предел как , что приведет к плоскому предшествующему, а задний станетΣμMVN(μ^+mλ01+m,1n+mΣ)λ0mμMVN(λ0,m1Σμm0μMVN(μ^,Σ), Тем не менее, принимая во внимание фиксированный предшествующий уровень, мы неявно делаем предположение, что элементы сильно отличаются (если все действительные числа одинаково вероятны, получение одинаковых значений маловероятно).μ

А быстрое моделирование показывает , что оценка этой процедуры несколько завышенной , когда элементы отличаются много и недооценивает , когда элементы подобны. Можно утверждать, что без каких-либо предварительных знаний это правильное поведение. Если вы готовы указать хотя бы некоторую предварительную информацию (например, ), результаты могут стать немного лучше для вашего варианта использования.min(μ)μmin(μ)m=0.1

Если вы готовы взять на себя большую структуру, вы можете выбрать лучший дистрибутив, чем нормальный многовариантный. Также может иметь смысл использовать Stan или другой сэмплер MCMC, чтобы в первую очередь соответствовать оценкам . Это даст вам набор выборок которые отражают неопределенность в самих оценщиках, включая их ковариационную структуру (возможно, более богатую, чем может предоставить MVN). Еще раз вы можете вычислить минимум для каждой выборки, чтобы получить апостериорное распределение по минимумам, и взять среднее значение этого распределения, если вам нужна точечная оценка.μ(μ1,...,μn)

Мартин Модрак
источник
Обратите внимание, что я не пытаюсь оценить минимум N случайных величин. Я пытаюсь оценить минимум из N параметров. Кажется, ваше предложение является оценкой для тогда как мне нужна оценка дляE[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)
Кагдас Озгенц
Я попытался отредактировать ответ, чтобы объяснить обоснование, надеюсь, это поможет.
Мартин Модрак
Так что этот метод выборки дает лучшие результаты по сравнению с простой , которая также хорошо работает, когда далеко обособленно и недооценивает, когда они рядом. Чтобы это было полезно, оно должно работать, когда они рядом. min(μ1^,μ2^,...,μn^)μi
Кагдас Озгенц
Также обратите внимание, что все являются положительными числами, поэтому вам не нужна отрицательная часть реальной линии. μi
Кагдас Озгенц
1
Вы правы в том, что я игнорирую знаки и не вижу простого способа их размещения. Также предложенная мною оценка работает лучше, когда считается случайной, но она хуже, чем для фиксированной . Я не думаю, что смогу спасти это, и я не уверен, каков наилучший способ продвижения вперед - я склонен попытаться удалить ответ, поскольку он не дает реального ответа на вопрос, но (я надеюсь) ответ также содержит некоторые идеи, которые может быть полезным для кого-то. μmin(μ^)μ
Мартин Модрак,