Зачем использовать бета-распределение по параметру Бернулли для иерархической логистической регрессии?

В настоящее время я читаю превосходную книгу Крушке «Анализ байесовских данных». Однако глава об иерархической логистической регрессии (глава 20) несколько сбивает с толку.

Рисунок 20.2 описывает иерархическую логистическую регрессию, где параметр Бернулли определяется как линейная функция на коэффициентах, преобразованных через сигмовидную функцию. Похоже, именно таким образом иерархическая логистическая регрессия представлена ​​в большинстве примеров, которые я видел и в других источниках в Интернете. Например - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Однако, когда предикторы являются номинальными, он добавляет слой в иерархию - теперь параметр Бернулли взят из бета-распределения (рис. 20.5) с параметрами, определенными mu и kappa, где mu - сигмоидальное преобразование линейной функции коэффициентов. , а каппа использует гамму априора.

Это кажется разумным и аналогичным примеру с бросанием монет из главы 9, но я не вижу, что делать с номинальными предикторами при добавлении бета-распределения. Почему бы не сделать это в случае метрических предикторов и почему было добавлено бета-распределение для номинальных предикторов?

РЕДАКТИРОВАТЬ: Разъяснение по моделям, я имею в виду. Во-первых, модель логистической регрессии с метрическими предикторами (без бета-версии). Это похоже на другие примеры иерархической логистической регрессии, такие как пример ошибок:

$$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\ $$

Тогда пример с номинальными предикторами. Вот где я не совсем понимаю роль «нижнего» уровня иерархии (включение логистического результата в бета-версию до бинома) и почему она должна отличаться от метрического примера.

$$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$$

Две модели, которые вы сравниваете, имеют много посторонних функций, и я думаю, что вы можете сформулировать свой вопрос более четко в контексте следующих двух упрощенных моделей:

Модель 1:

$$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$$

Модель 2:

$$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$$

Ваши вопросы: (1) какую роль играет бета-дистрибутив; и связанные, (2) как (если вообще) модель 2 отличается от модели 1?

На первый взгляд это довольно разные модели, но на самом деле предельные распределения в обеих моделях идентичны. Апостериорное распределение в модели 1: тогда как маргинальное заднее распределение в модели 2: $\mu_i$$\mu_i$

$$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$$ $\mu_i$ $$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$$

Таким образом, любое преимущество, полученное от использования Модели 2, является вычислительным. Чрезмерная параметризация иерархических моделей, таких как добавление в Модель 2, иногда может повысить эффективность процедуры выборки; например, путем введения условно-сопряженных отношений между группами параметров (см. ответ Джека Таннера) или путем нарушения корреляции между интересующими параметрами (Google «Расширение параметров»).$\theta_i$

Причина получения параметра Бернулли из бета-распределения состоит в том, что бета сопряжена с биномом. Использование сопряженного предварительного распределения позволяет найти решение в задней части в закрытом виде.

РЕДАКТИРОВАТЬ: уточнение. Любая модель будет работать. Даже с MCMC полезно иметь сопряженные априоры, поскольку это позволяет использовать специализированные сэмплеры для различных типов распределений, которые более эффективны, чем универсальные сэмплеры. Например, см. Руководство пользователя JAGS с. 4.1.1 и с 4.2.