Хорошие учебные пособия по гиббсу

Я хочу узнать, как работает выборка Гиббса, и я ищу хорошую базовую и промежуточную статью. У меня есть опыт работы в области компьютерных наук и базовые статистические знания.

Кто-нибудь прочитал хороший материал вокруг? где ты это узнал?

Благодарность

Я бы начал с:

Казелла, Джордж; Джордж, Эдвард I. (1992). « Объясняя сэмплер Гиббса ». Американский статистик 46 (3): 167–174. ( БЕСПЛАТНО PDF )

Аннотация : Интенсивные компьютерные алгоритмы, такие как сэмплер Гиббса, становятся все более популярными статистическими инструментами как в прикладной, так и в теоретической работе. Однако свойства таких алгоритмов иногда могут быть неочевидными. Здесь мы даем простое объяснение того, как и почему работает сэмплер Гиббса. Мы аналитически устанавливаем его свойства в простом случае и даем представление для более сложных случаев. Есть также ряд примеров.

Американский статистик часто является хорошим источником для коротких вводных статей, которые не предполагают какого-либо предварительного знания темы, хотя они предполагают, что у вас есть опыт в вероятности и статистике, которую можно разумно ожидать от члена американской Статистическая ассоциация .

Одна онлайн-статья, которая действительно помогла мне понять выборку Гиббса, - оценка параметров для анализа текста Грегором Генрихом. Это не общее учебное пособие по сэмплингу Гиббса, но оно обсуждается с точки зрения скрытого распределения дирихле, довольно популярной байесовской модели для моделирования документов. Это входит в математику довольно подробно.

Еще более исчерпывающие математические подробности - это выборка Гиббса для Непосвященных . И я имею в виду исчерпывающий, поскольку он предполагает, что вы знаете некоторое многомерное исчисление, а затем выкладываете каждый шаг с этой точки. Так что, хотя математики много, она не продвинута.

Я предполагаю, что они будут более полезны для вас, чем то, что дает более продвинутые результаты, например те, которые доказывают, почему выборка Гиббса сходится к правильному распределению. Ссылки, на которые я указываю, не доказывают этого.

Книга « Стратегии Монте-Карло в научных вычислениях» - отличный ресурс. Он решает математически строгие вопросы, но вы можете легко пропустить математические разделы, которые вас не интересуют, и при этом получить массу практических советов. В частности, он делает хорошую работу по объединению выборки Метрополис-Гастингс и Гиббса, что имеет решающее значение. В большинстве приложений вам нужно рисовать из апостериорного распределения с использованием выборки Гиббса, поэтому полезно знать, как оно вписывается в логику Metropolis в целом.