Как единообразный априор приводит к одинаковым оценкам по максимальной вероятности и моде апостериорного?

Я изучаю различные методы оценки по точкам и читаю, что при использовании оценок MAP и ML, когда мы используем «единообразный априор», оценки идентичны. Может ли кто-нибудь объяснить, что такое «равномерный» априор, и привести несколько (простых) примеров, когда оценки MAP и ML будут одинаковыми?

machine-learning probability bayesian estimation maximum-likelihood user1516425
источник

@AndreSilva MAP = Максимальный апостериорный - режим апостериорного

Glen_b

Посмотрите здесь: math.stackexchange.com/questions/1327752/…

Рой

Ответы:

Это равномерное распределение (непрерывное или дискретное).

а также

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Если вы используете униформу до набора, содержащего MLE, то MAP = MLE всегда. Причина этого заключается в том, что при этой предшествующей структуре последующее распределение и вероятность пропорциональны.

MAPMLE
источник

Это хороший ответ на мой взгляд. Возможно, стоит добавить, что причина, по которой апостериорное распределение и вероятность пропорциональны, состоит в том, что апостериорное распределение само пропорционально произведению вероятности и априорного. Когда априор принимает везде одно и то же значение, как при равномерном распределении, то последующее распределение просто пропорционально вероятности.

TooTone

@TooTone Я бы также добавил пункт о неправомерности.

Стефан Лоран

Единообразный априор может рассматриваться как предоставление пользовательского набора или равной вероятности для каждого класса, который вы пытаетесь предсказать. Например, если у нас есть проблема двух классов, и распределение для положительных примеров составляет 10% (то есть априорная вероятность 0,1), мы можем установить униформу априорных значений для положительных случаев равной 0,5, чтобы преодолеть эффект дисбаланса исходного распределение.

Суфаном

Примечательно, что при равномерном априоре MAP и ML сталкиваются только в том случае, если единообразный априор находится во всех допустимых значениях параметра. А именно, если параметр является непрерывным, а априор одинаковым только при [0, 1], он не будет сохраняться.

Рой

@Drazick: хорошее замечание. На самом деле это «хуже», а именно (значение) MAP зависит от выбора доминирующей меры, как объясняется в этой статье Druihlet и Marin .

Сиань

MLE - это оценка возникновения данного события для данного параметра, тогда как MAP - это оценка параметра для данного события. Когда мы далее используем теорему Байеса при оценке MAP, она сводится к где - единственный дополнительный член по отношению к MLE. Оценка среднего значения и дисперсии MAP будет такой же, как оценка среднего значения и дисперсии MLE, так как Prior остается каждый раз неизменной и не изменяется вообще. Таким образом, он действует только как константа и, следовательно, не играет никакой роли, влияя на значение среднего значения и дисперсии. $P(D|\theta)P(\theta)$ $P(\theta)$

gg1782191
источник

(-1) Оценка максимального правдоподобия (параметра) является оценкой параметра, а не «оценкой возникновения данного события». Остальная часть ответа также несколько запутана / запутана, например, неясно, что означает «среднее значение и дисперсия».

Юхо Коккала

@Tim, Можете ли вы предоставить доказательство (или схему), которое показывает The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Спасибо

curious_dan

@curious_dan Теорема Байеса имеет вид , если равномерно, то она сводится к , так что вы только максимизируете вероятность, так что это то же самое, что и MLE.

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$

p (θ) \propto 1

$p(\theta) \propto 1$

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$

Тим

спасибо, @Tim --- Я понимаю, почему это верно для максимального / ожидаемого значения, но мне не ясно, что дисперсия будет такой же

curious_dan

@curious_dan дисперсия чего? Это относится к любому параметру, который вы оцениваете.

Тим