Это частично мотивировано следующим вопросом и обсуждением после него.
Предположим, что образец iid наблюдается, . Цель состоит в том, чтобы оценить . Но оригинальный образец не доступен. Вместо этого мы имеем некоторую статистику выборки . Предположим, что фиксировано. Как мы оцениваем ? Какова будет оценка максимального правдоподобия в этом случае?
estimation
maximum-likelihood
mpiktas
источник
источник
Ответы:
В этом случае вы можете рассмотреть ABC- аппроксимацию вероятности (и, следовательно, MLE ) при следующем предположении / ограничении:
Успенская. Исходный размер выборки известен.n
Это не дикое предположение, учитывая, что качество с точки зрения конвергенции оценщиков частоты часто зависит от размера выборки, поэтому невозможно получить сколь угодно хорошие оценки, не зная исходного размера выборки.
Идея состоит в том, чтобы сгенерировать выборку из апостериорного распределения и, чтобы получить аппроксимацию MLE , вы можете использовать метод выборки важности, как в [1], или рассмотреть униформу до θ с поддержкой подходящего установить как в [2] .θ θ
Я собираюсь описать метод в [2]. Прежде всего, позвольте мне описать сэмплер ABC.
ABC Sampler
Пусть - модель, генерирующая выборку, где θ ∈ Θ - параметр (подлежащий оценке), T - статистика (функция выборки), а T 0 - наблюдаемая статистика в жаргоне ABC. это называется суммарной статистикой , ρ - метрика, π ( θ ) - предварительное распределение по θ, а ϵ > 0 - допуск. Затем ABC-отбраковочный пробоотборник может быть реализован следующим образом.f(⋅|θ) θ∈Θ T T0 ρ π(θ) θ ϵ>0
Этот алгоритм генерирует приблизительную выборку из апостериорного распределения при T ( x ) = T 0 . Следовательно, лучший сценарий - когда статистика T достаточна, но можно использовать другую статистику. Для более подробного описания этого см. Эту статью .θ T(x)=T0 T
Теперь, в общей структуре, если кто-то использует унифицированный априор, который содержит MLE в своей поддержке, то максимальный апостериорный (MAP) совпадает с оценщиком максимального правдоподобия (MLE). Поэтому, если вы рассмотрите подходящую униформу априора в ABC Sampler, то вы можете сгенерировать приблизительную выборку апостериорного распределения, MAP которого совпадает с MLE. Оставшийся шаг состоит в оценке этого режима. Эта проблема обсуждалась в CV, например, в «Вычислительно-эффективной оценке многомерного режима» .
Игрушечный пример
Пусть быть выборка из N ( М , 1 ) и предположим , что только информация , полученная от этого образца ˉ х = 1(x1,...,xn) N(μ,1) . Пустьρ- евклидова метрика вRиϵ=0.001. Следующий код R показывает, как получить приблизительный MLE, используя методы, описанные выше, с использованием смоделированной выборки сn=100иμ=0, выборкой апостериорного распределения размера1000, унифицированного априора дляμна(-0,3,0,3)и оценщик плотности ядра для оценки режима задней выборки (MAP = MLE).x¯=1n∑nj=1xj ρ R ϵ=0.001 n=100 μ=0 1000 μ (−0.3,0.3)
Как вы можете видеть, используя небольшой допуск, мы получаем очень хорошее приближение MLE (которое в этом тривиальном примере может быть вычислено из статистики при условии, что этого достаточно). Важно отметить, что выбор сводной статистики имеет решающее значение. Квантили обычно являются хорошим выбором для сводной статистики, но не все варианты дают хорошее приближение. Может случиться так, что сводная статистика не очень информативна, и тогда качество аппроксимации может быть плохим, что хорошо известно в сообществе ABC.
Обновление: аналогичный подход был недавно опубликован в Fan et al. (2012) . Смотрите эту запись для обсуждения на бумаге.
источник
Все зависит от того, известно или нет совместное распределение этих . Если это, например, ( T 1 , … , T k ) ∼ g ( t 1 , … , t k | θ , n ), то вы можете провести оценку максимального правдоподобия на основе этого совместного распределения. Обратите внимание, что, если ( T 1 , … , T k ) не достаточно, это почти всегда будет отличаться от максимальной вероятности, чем при использовании необработанных данных (Ti
Если вышеупомянутое совместное распределение с плотностью не доступно, решение, предложенное Procrastinator, является вполне подходящим.g
источник
Оценка (вероятности) максимального правдоподобия выглядит следующим образом:
То, как вы на самом деле максимизируете вероятность, зависит главным образом от возможности написать вероятность аналитически приемлемым образом. Если это возможно, вы сможете рассмотреть общие алгоритмы оптимизации (ньютон-Рафсон, симплекс ...). Если у вас нет отслеживаемой вероятности, вам может быть проще вычислить условное ожидание, как в алгоритме EM, который также даст максимальные оценки вероятности при довольно доступных гипотезах.
Лучший
источник