Понимание байесовских прогнозирующих распределений

Я прохожу курс «Введение в Байес» и испытываю некоторые затруднения с пониманием предиктивного распределения. Я понимаю, почему они полезны, и я знаком с определением, но есть некоторые вещи, которые я не совсем понимаю.

1) Как получить правильное предсказательное распределение для вектора новых наблюдений

Предположим, что мы построили модель выборки $p(y_i | \theta)$ для данных и априорного $p(\theta)$ . Предположим, что наблюдения условно независимы с учетом .$y_i$$\theta$

Мы наблюдали некоторые данные , и мы обновляем наш предыдущий на задний .$\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$$p(\theta)$$p(\theta | \mathcal{D})$

Если мы хотим предсказать вектор новых наблюдений , я думаю, что мы должны попытаться получить апостериорный прогноз, используя эту формулу который не равен поэтому предсказанные наблюдения не являются независимыми, верно?$\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

$$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$$ $$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$$

Скажи, что Бета ( ) и Бином ( ) для фиксированного . В этом случае, если бы я хотел смоделировать 6 новых , если я правильно понял, было бы неправильно моделировать 6 ничьих независимо от бета-биномиального распределения, которое соответствует апостериорному предиктиву для одного наблюдения. Это правильно? Я не знаю, как интерпретировать, что наблюдения не являются независимыми незначительно, и я не уверен, что понимаю это правильно.$\theta | \mathcal{D} \sim$$a,b$$p(y_i | \theta) \sim$$n, \theta$$n$$\tilde{y}$

Имитация из апостериорных предикатов

Много раз, когда мы моделируем данные из апостериорного прогнозирования, мы следуем этой схеме:

Для от 1 до :$b$$B$

1) Образец из .$\theta^{(b)}$$p(\theta | \mathcal{D})$

2) Затем смоделируйте новые данные из .$\mathcal{N}^{(b)}$$p(\mathcal{N} | \theta^{(b)})$

Я не совсем знаю, как доказать, что эта схема работает, хотя выглядит интуитивно. Кроме того, у этого есть имя? Я пытался найти оправдание и пробовал разные имена, но мне не повезло.

Спасибо!

Предположим, что условно независимы, если . Тогда $X_1,\dots,X_n,X_{n+1}$$\Theta=\theta$

$$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$$ $$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$$ $$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$$ $\Theta$$X_1,\dots,X_n$$X_{n+1}$

$i=1,\dots,N$$\theta^{(i)}$$\Theta\mid X_1=x_1,\dots,X_n=x_n$$x_{n+1}^{(i)}$$X_{n+1}\mid\Theta=\theta^{(i)}$$\{x_{n+1}^{(i)}\}_{i=1}^N$$X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

Я постараюсь пошагово перейти к интуиции за генерацией апостериорного прогнозирующего распределения.

Пусть будет вектором наблюдаемых данных, которые поступают из распределения вероятностей и пусть будет вектором будущих (или вне выборочных) значений, которые мы хотим предсказать. Мы предполагаем, что происходит из того же распределения, что и . Может быть соблазнительно использовать нашу лучшую оценку --- такую ​​как оценка MLE или MAP - для получения информации об этом распределении. Тем не менее, это неизбежно проигнорирует нашу неуверенность в отношении . Таким образом, подходящим способом продолжения является усреднение по заднему распределению , а именно . Заметим также , что$y$$p(y|\theta)$$\tilde y$$\tilde y$$y$$\theta$$\theta$$\theta$$p(\theta|y)$$\tilde y$не зависит от заданного , так как предполагается, что это независимая выборка, взятая из того же распределения, что и . Таким образом,$y$$\theta$$y$

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

Последовательное прогнозирующее распределение , таким образом,$\tilde y$

$\displaystyle p(\tilde y|y ) = \int_\Theta p(\tilde y | \theta,y) p(\theta | y) d\theta = \int_\Theta p(\tilde y | \theta) p(\theta | y) d\theta$

где - поддержка .$\Theta$$\theta$

Теперь, как мы получаем образцы из ? Метод, который вы описываете, иногда называют методом композиции , который работает следующим образом:$p(\tilde y|y)$

---

для s = 1,2, ..., S do

извлечь из$\theta^{(s)}$$p(\theta|y)$

нарисовать из$\tilde y^{(s)}$$p(\tilde y|\theta^{(s)})$

---

где, в большинстве случаев, у нас уже есть ничья из , так что требуется только второй шаг.$p(\theta|y)$

Причина, по которой это работает, довольно проста: сначала обратите внимание, что . Таким образом, выборка вектора параметров из и затем использование этого вектора для выборки из дает выборки из совместного распределения . Отсюда следует, что выборочные значения являются выборками из маргинального распределения .$p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$$\theta^{(s)}$$p(\theta|y)$$\tilde y^{(s)}$$p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$$p(\tilde y, \theta|y)$$\tilde y^{(s)}, s=1,2,...,S$$p(\tilde y|y)$

Чтобы ответить на ваш первый вопрос: да, наблюдения не являются независимыми, если вы не знаете значение . Скажем, вы заметили, что имеет весьма экстремальное значение. Это может быть признаком того, что неизвестное значение самой является экстремальным, и, следовательно, следует ожидать, что другие наблюдения также будут экстремальными.$\theta$$\tilde{y}_1$$\theta$