Как получить выборку Гиббса?

Я на самом деле стесняюсь спросить об этом, потому что боюсь, что меня будут перенаправлять на другие вопросы или на Википедию о выборке Гиббса, но у меня нет ощущения, что они описывают то, что под рукой.

При заданной условной вероятности : $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

И условная вероятность : $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

Мы можем однозначно придумать совместную вероятность :$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

Потому что, хотя у нас есть неизвестных, у нас есть больше ( ) линейных уравнений:$8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Также как и:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Это быстро решается с помощью , . А именно, приравнивая к . Это дает а остальное следует.$c_0=\tfrac{3}{4}b_0$$\tfrac{2}{3}c_0=a_1$$\tfrac{2}{4}b_0=a_1$$\tfrac{2}{6}(1-b_0)=a_1$$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

Итак, теперь мы переходим к непрерывному случаю. Можно вообразить интервалы и держать вышеупомянутую структуру в такте (с большим количеством уравнений, чем неизвестных). Однако что происходит, когда мы переходим к (точечным) экземплярам случайных величин? Как работает выборка

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

итеративно, привести к ? Эквивалентно ограничению , как это обеспечивает например? Аналогично с . Можем ли мы записать ограничения и извлечь выборку Гиббса из первых принципов?$p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$

Итак, меня не интересует, как выполнить выборку Гиббса, что просто, но меня интересует, как ее получить и, предпочтительно, как доказать, что она работает (вероятно, при определенных условиях).

Вычисление совместного распределения из условных распределений вообще очень сложно. Если условные распределения выбираются произвольно, общее совместное распределение может даже не существовать. В этом случае даже показать, что условные распределения согласованы, как правило, сложно. Одним из результатов, который можно использовать для получения совместного распределения, является лемма Брука , выбрав фиксированное состояние , хотя я никогда не использовал его самостоятельно для этой цели. Более подробно на эту тему я бы посмотрел на работу Джулиана Бесага.

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$

Однако, чтобы доказать, что выборка Гиббса работает, лучше выбрать другой маршрут. Если цепь Маркова, реализованная алгоритмом выборки, имеет распределение качестве инвариантного распределения и является неприводимым и апериодическим , то цепь Маркова будет сходиться к этому распределению (Tierney, 1994) .$p$

Выборка Гиббса всегда оставляет инвариант совместного распределения, из которого были получены условные распределения: грубо, если и мы производим выборку , тогда$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

То есть, обновление путем условной выборки не меняет распределение выборки.$x$

Однако выборка Гиббса не всегда неприводима . Несмотря на то, что мы всегда можем применить его, не нарушая ничего (в том смысле, что если у нас уже есть выборка из желаемого распределения, это не изменит распределение), то от совместного распределения зависит, действительно ли выборка Гиббса сходится к нему (достаточно просто Условием неприводимости является то, что плотность всюду положительна, ).$p(\mathbf{x}) > 0$