По (слабому / сильному) закону больших чисел, учитывая некоторые точки выборки iid распределения, их выборка означает сходится к среднему значению распределения как по вероятности, так и как размер выборки уходит в бесконечность.
Когда размер выборки фиксирован, мне интересно, является ли оценка LLN оценкой в некотором смысле лучшей? Например,
- его ожидание - это среднее значение распределения, поэтому оно является объективной оценкой. Его дисперсия где - дисперсия распределения. Но это УМВУ?
есть ли какая-нибудь функция такая, что решить проблему минимизации:
Другими словами, является наилучшей функцией контраста в рамках минимальной контрастности (см. Раздел 2.1 «Базовые эвристики оценки» в « Математической статистике: основные идеи и избранные темы, том 1 » Бикла и Доксума).
Например, если известно, что распределение ограничено из семейства гауссовых распределений, то среднее значение выборки будет оценкой MLE среднего распределения, а MLE относится к минимальному контрастному каркасу, а его функция контрастности минус логарифмическая вероятность функция.
есть ли некоторая функция такая, что решает проблему минимизации: для любого распределения из в некотором семействе распределений?f ∗ f ∗ = argmin fP x i F
Другими словами, является лучшим по отношению к некоторой потерянной функции и некоторому семейству распределений в теоретической структуре решения (см. Раздел 1.3 «Теоретическая структура решения» в « Математической статистике: основные идеи и отдельные темы, том 1 »). Bickle и Doksum). l F
Обратите внимание, что выше приведены три разные интерпретации для «наилучшей» оценки, которую я знаю до сих пор. Если вы знаете о других возможных интерпретациях, которые могут относиться к оценщику LLN, пожалуйста, не стесняйтесь упомянуть об этом.
Ответы:
Ответ на ваш второй вопрос - да: выборочное среднее значение - это минимальная оценка контрастности, когда ваша функция равна , когда x и u являются действительными числами, или , когда x и u равны векторы столбцов. Это следует из теории наименьших квадратов или дифференциального исчисления.L0 ( х - ты )2 ( х - ты )'( х - ты )
Минимальная оценка контрастности при определенных технических условиях является как последовательной, так и асимптотически нормальной. Для выборочного среднего это уже следует из LLN и центральной предельной теоремы. Я не знаю, что минимальные оценки контрастности "оптимальны" в любом случае. Что приятно в оценках минимального контраста, так это то, что многие надежные оценки (например, медиана, оценки Хубера, выборочные квантили) попадают в это семейство, и мы можем сделать вывод, что они согласованы и асимптотически нормальны, просто применяя общую теорему для оценок минимального контраста, поэтому Пока мы проверяем некоторые технические условия (хотя часто это гораздо сложнее, чем кажется).
Одним из понятий оптимальности, которое вы не упоминаете в своем вопросе, является эффективность, которая, грубо говоря, касается того, насколько большой выборки вам нужно получить оценку определенного качества. См. Http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency для сравнения эффективности среднего значения и медианы (среднее значение более эффективно, но медиана более устойчива к выбросам).
Что касается третьего вопроса, без каких-либо ограничений на набор функций f, по которым вы находите argmin, я не думаю, что выборочное среднее будет оптимальным. Для любого распределения P вы можете установить f как постоянную, которая игнорирует и минимизирует потери для конкретного P. Среднее значение выборки не может справиться с этим.Икся
Минимаксная оптимальность является более слабым условием, чем заданное вами: вместо того, чтобы спрашивать, чтобы была лучшей функцией для любого в классе, вы можете попросить, чтобы имела лучшую производительность в худшем случае. То есть, между аргументом argmin и ожиданием, поместите в . Байесовский оптимальность другой подход: поставить априорное распределение на , и взять на себя ожидание над , а также пробы из .е* п е* Максимумп∈ F п∈ F п п
источник