Каковы определения полусопряженных и условно сопряженных приоров?

Каковы определения полусопряженных априорных и условно сопряженных априорных значений ? Я нашел их в Байесовском анализе данных Гельмана , но не смог найти их определения.

Используя определение в Байесовском анализе данных (3-е изд) , если является классом распределений выборки , а является классом предыдущих распределений для , то класс является сопряженным для если$\mathcal{F}$$p(y|\theta)$$\mathcal{P}$$\theta$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$$

Если - это класс выборочных распределений , а - класс априорных распределений для условных на , то класс является условно сопряженным для если$\mathcal{F}$$p(y|\theta,\phi)$$\mathcal{P}$$\theta$$\phi$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$$

Условно сопряженные априоры удобны при построении сэмплера Гиббса, поскольку полное условное будет известным семейством.

Я искал электронную версию Байесовского анализа данных (3-е изд.) И не смог найти ссылку на полусопряженный ранее. Я предполагаю, что это синоним условно сопряженного, но если вы предоставите ссылку на его использование в книге, я смогу дать определение.

Я хотел бы использовать многомерный нормальный в качестве примера.

Напомним, что вероятность определяется

$$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$$

Для того, чтобы найти до этой вероятности, мы можем выбрать

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

Уверяю вас пока вы НЕ беспокоитесь о ; они просто параметры предыдущего распределения.$\mu_0,\Lambda_0,\nu_0,S_0$

Однако важно то, что это не сопряжено с вероятностью. Чтобы понять почему, я хотел бы процитировать ссылку, которую я нашел в Интернете.

обратите внимание, что и появляются вместе с вероятностью без факторизации; следовательно, они также будут связаны друг с другом в задней части$\mu$$\Sigma$

Ссылка - «Машинное обучение: вероятностная перспектива» Кевина П. Мерфи. Вот ссылка . Вы можете найти цитату в Разделе 4.6 (Вывод параметров MVN) вверху страницы 135.

Чтобы продолжить цитату,

Вышеупомянутый априор иногда называют полусопряженным или условно сопряженным , поскольку оба условия, и , индивидуально сопряжены. Для создания полного сопряженного априора нам нужно использовать априор, где и зависят друг от друга. Мы будем использовать совместное распространение формы$p(\mu|\Sigma)$$p(\Sigma|\mu)$$\mu$$\Sigma$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

Идея здесь заключается в том, что первое предварительное распространение

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

предполагает, что и отделимы (или независимы в некотором смысле). Тем не менее, мы наблюдаем, что в функции правдоподобия и не могут быть разложены по отдельности, что означает, что они не будут отделимы в апостериорном (Напомним, ). Это показывает, что «неразделимые» задние и «отделимые» до начала не являются сопряженными. С другой стороны, переписав$\mu$$\Sigma$$\mu$$\Sigma$$(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

так что и зависят друг от друга (через ), вы получите сопряженный априор, который называется полусопряженным априорным . Это, надеюсь, ответит на ваш вопрос.$\mu$$\Sigma$$p(\mu|\Sigma)$

PS : Другая действительно полезная ссылка, которую я использовал, - «Первый курс по байесовским статистическим методам» Питера Д. Хоффа. Вот ссылка на книгу. Вы можете найти соответствующий контент в Разделе 7, начиная со страницы 105, и у него есть очень хорошее объяснение (и интуиция) о нормальном распределении с одним вариатором в Разделе 5, начиная со страницы 67, который будет вновь подтвержден в Разделе 7, когда он имеет дело с МВН.

Если является класс выборки распределений , а представляет собой класс предшествующих распределений для , то класс является полусопряжено для , если для всех и , где и не принадлежит классу .$F$$p(y|θ,ϕ)$$P$$θ$$P$$F$$p(θ|y,ϕ)∈P$$p(⋅|θ,ϕ)∈F$$p(θ,ϕ)=p(θ)\times p(ϕ)$$p(θ)∈P$$p(ϕ)$$P$