Хорошо известно, что по мере того, как у вас появляется больше доказательств (скажем, в виде большего для iid примеров), байесовский априор «забывается», и на большинство выводов влияют доказательства (или вероятность).н
Это легко увидеть для различных конкретных случаев (например, Бернулли с бета-версией или других примеров), но есть ли способ увидеть это в общем случае с и какой-нибудь предшествующий ?
РЕДАКТИРОВАТЬ: Я предполагаю, что это не может быть показано в общем случае для любого априора (например, априор точечной массы будет держать заднюю точку точечной массы). Но, возможно, существуют определенные условия, при которых априор забыт.
Вот вид «пути», о котором я думаю, чтобы показать что-то подобное:
Предположим, что пространство параметров равно , и пусть и - два априора, которые помещают ненулевую вероятностную массу на все . Итак, два апостериорных вычисления для каждого предыдущего значения составляют:q ( θ ) Θ
и
Если вы разделите на (постеры), то получите:д
Теперь я хотел бы изучить вышеуказанный термин, так как переходит в . В идеале это будет для определенной которая «имеет смысл» или какое-то другое хорошее поведение, но я не могу понять, как что-то показать там.
Ответы:
Просто грубый, но, надеюсь, интуитивно понятный ответ.
Посмотрите на это с точки зрения пространства журнала: где - константа, которая зависит от данных, но не от параметра, и где ваши вероятности предполагают наличие наблюдений. Следовательно, просто сконцентрируйтесь на части, которая определяет форму вашего апостериора, а именно на C n > 0 S n = - log P ( θ ) - n ∑ i = 1 log P (
Предположим , что существует такое , что . Это разумно для дискретных распределений.D > 0 - журналп( θ ) ≤ D
Поскольку условия все положительные, «будет» расти (я пропускаю технические детали здесь). Но вклад предшествующего ограничен . Следовательно, доля, внесенная предшествующим фактором, которая составляет самое большее , монотонно уменьшается с каждым дополнительным наблюдением.SN D D / SN
Строгие доказательства, конечно, сталкиваются с техническими сложностями (и они могут быть очень сложными), но установка выше ИМХО является самой основной частью.
источник
Я несколько озадачен тем, что должны означать утверждения «предшествующее забыто» и «на большинство выводов влияют доказательства». Я предполагаю, что вы имеете в виду, что по мере увеличения объема данных (последовательность) оценщика (ов) приближается к истинному значению параметра независимо от нашего предыдущего.
Предполагая некоторые условия регулярности формы апостериорного распределения, оценки Байеса являются последовательными и асимптотически несмещенными (см. Gelman et al, глава 4 ). Это означает, что при увеличении размера выборки оценка Байеса приближается к истинному значению параметра. Согласованность означает, что оценщик Байеса сходится по вероятности к истинному значению параметра, а асимптотическая беспристрастность означает, что, предполагая, что является истинным значением параметра,θ0
Сходимость не зависит от конкретной формы априора, а зависит только от того, что апостериорное распределение, полученное из априора и вероятность, удовлетворяют условиям регулярности.
Самое важное условие регулярности, упомянутое в Gelman et al., Состоит в том, что вероятность быть непрерывной функцией параметра, а истинное значение параметра находится внутри пространства параметров. Также, как вы заметили, апостериор должен быть ненулевым в открытой окрестности истинного значения истинного значения параметра. Обычно ваш предшествующий уровень должен быть ненулевым во всем пространстве параметров.
источник