Чем ABC и MCMC отличаются в своих приложениях?

15

Насколько я понимаю, приблизительные байесовские вычисления (ABC) и цепь Маркова Монте-Карло (MCMC) имеют очень похожие цели. Ниже я опишу свое понимание этих методов и то, как я воспринимаю различия в их применении к реальным данным.

Приближенное байесовское вычисление

ABC состоит из выборки параметра θ из предшествующего, посредством численного моделирования вычисляют статистику xi которая сравнивается с некоторыми наблюдаемыми xobs . На основе алгоритма отклонения xi либо сохраняется, либо отклоняется. Список сохраненных xя s сделал последующее распределение.

Марковская цепь Монте-Карло

MCMC состоит из выборки априорного распределения параметра θ . Для этого требуется первая выборка θ1 , вычислить P(xobs|θ1)P(θ1) и затем перейти (согласно некоторому правилу) к новому значению θ2 для которого P(xobs|θ2)P(θ2) вычисляется снова. Коэффициент P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1) рассчитывается, и в зависимости от некоторого порогового значения, следующий скачок произойдет из первой или второй позиции. Исследованиезначенийθпроисходит один за другим, и, в конце концов, распределение сохраненныхзначенийθявляется последним распределениемP(θ|x)(по причине, которая мне до сих пор неизвестна).

Я понимаю, что в моих объяснениях отсутствует представление о множестве методов, существующих в каждом из этих терминов (особенно для MCMC).

ABC против MCMC (плюсы и минусы)

Преимущество ABC заключается в том, что нет необходимости иметь аналитическое решение . Как таковая ABC удобна для сложной модели, где MCMC не сможет это сделать.P(x|θ)P(θ)

MCMC позволяет проводить статистические тесты (тест отношения правдоподобия, G-тест, ...), хотя я не думаю, что это возможно с ABC.

Я прав до сих пор?

Вопрос

  • Чем ABC и MCMC отличаются в своих приложениях? Как решить использовать тот или иной метод?
Remi.b
источник
1
«MCMC состоит из выборки предварительного распределения параметра θ». Хотя это, безусловно, можно сделать, но в большинстве случаев это не нужно и даже не желательно. Для многих приложений MCMC мы выбираем θ2 из распределения кандидатов с центром вокруг θ1 (например, гауссиана с небольшим стандартным отклонением), а затем вычисляем отношение принятия / отклонения, как вы упомянули выше. Это контрастирует с ABC, где мы проводим выборку из предыдущего (и это единственный способ включить предварительную информацию в ABC, как правило).
z_dood

Ответы:

12

Некоторые дополнительные комментарии к ответу Бьёрна:

  1. ABC был впервые представлен Рубином (1984) как объяснение природы байесовского вывода, а не для вычислительных целей. В этой статье он объяснил, как распределение выборки и предшествующее распределение взаимодействуют, чтобы произвести апостериорное распределение.

  2. ABC, однако, в первую очередь используется для вычислительных целей. Популяционные генетики придумали метод на древовидных моделях, где вероятность наблюдаемой выборки была неразрешимой. Схемы MCMC (Data Augmentation), которые были доступны в таких настройках, были ужасно неэффективными, и поэтому выборка по важности, даже с параметром одного измерения ... По своей сути, ABC заменяет методы Монте-Карло, такие как MCMC или PMC, когда они не доступны для всех практических целей. Когда они доступны, ABC отображается как прокси-сервер, который можно использовать для их калибровки, если он работает быстрее.

  3. В более современной перспективе я лично рассматриваю ABC как метод приблизительного вывода, а не вычислительную технику. Строя приблизительную модель, можно сделать вывод об интересующем параметре, не обязательно полагаясь на точную модель. Хотя некоторая степень проверки необходима в этом параметре, она не менее достоверна, чем усреднение или непараметрика модели. Фактически, ABC можно рассматривать как особый тип непараметрической байесовской статистики.

  4. Можно также показать, что (с шумом) ABC является совершенно четко определенным байесовским подходом, если заменить исходную модель и данные на зашумленную. Как таковая, она учитывает все байесовские выводы, о которых можно думать. Включая тестирование. Наш вклад в дискуссию о ABC и проверке гипотез заключается в том, что приблизительная модель, лежащая в основе ABC, может оказаться недостаточно приспособленной для оценки актуальности гипотезы с учетом данных, но не обязательно , что также хорошо, поскольку большинство применений ABC в популяции генетика связана с выбором модели.

  5. В еще более поздней перспективе мы можем рассматривать ABC как байесовскую версию косвенного вывода, где параметры статистической модели связаны с моментами заранее определенной статистики. Если этой статистики достаточно (или достаточно в общепринятом смысле) для идентификации этих параметров, можно показать , что ABC сходится к истинному значению параметров с количеством наблюдений.

Сиань
источник
2
Я проверил этот ответ, но хочу порекомендовать сначала прочитать ответ @ Björn (+1), а затем ответ Сианя.
Remi.b
12

P(x|θ)θсмоделированные данные чаще всего (приблизительно) соответствуют наблюдаемым данным (с предложенными значениями, например, взятыми случайным образом из предыдущих). Для простых случаев, таких как одна биномиальная случайная переменная с не слишком большим размером выборки, вам даже может потребоваться точное совпадение, и в этих случаях действительно нет абсолютно ничего, что вы не могли бы сделать с этими задними выборками, которые вы не могли бы также сделать с стандартные образцы MCMC. Для более сложных ситуаций с непрерывными (даже для многомерных дискретных результатов) и потенциально многомерными исходами, требующих точного соответствия, больше невозможно.

На самом деле существуют MCMC-версии ABC, которые решают проблему, заключающуюся в том, что если у вас есть априор, который не очень похож на апостериорный (например, потому что априор очень малоинформативен), выборка с использованием априора крайне неэффективна, потому что вы очень редко будете получить точное соответствие между наблюдаемыми и смоделированными данными.

P(x|θ)P(x|θ)P(x|θ)аналитически недоступен. Конечно, в таких случаях могут быть и другие возможные варианты (например, INLA, квадратичное приближение к вероятностям и т. Д.), Которые могут быть более эффективными / успешными для конкретных задач. В некотором смысле, любые ограничения в том, что вы можете делать с последующими выборками из ABC, исходят только из того, что вам требуется приблизительное совпадение между фактическими и смоделированными данными (если вам потребуется точное совпадение, проблем вообще не будет). Есть несколько хороших вступительных статей, например, Marin et al. (2012) . По крайней мере, один из соавторов (@ Xi'an) является активным автором здесь, и я тоже хотел бы поделиться с ним своими мыслями - я полагаю, что он мог бы сказать намного больше по теме тестирования.

Бьерн
источник
Я надеюсь, что мне удалось исправить ссылку сейчас (теперь она работает для меня).
Бьёрн,
1
(+1) очень хорошие очки!
Сиань
1
«Когда P (x | θ) аналитически доступен, я предполагаю, что почти всегда будет предпочтительнее использовать стандартный MCMC». Почти, но не всегда. Представьте, что у вас очень большой размер выборки (10 ^ 9) в сочетании со многими параметрами. Перерасчет вероятности для каждого набора параметров становится очень дорогим. С ABC есть много уловок, которые можно использовать, чтобы ускорить это. С MCMC не так уж и много.
z_dood
2
@z_dood: когда существует слишком много наблюдений, чтобы действительно вычислить вероятность, как, например, когда они должны быть сохранены на разных компьютерах, становится спорным, что функция вероятности недоступна аналитически.
Сиань