Есть ли байесовский подход к оценке плотности?

Я заинтересован , чтобы оценить плотность непрерывной случайной величины . Один из способов сделать это, который я изучил, это использование оценки плотности ядра.$X$

Но теперь меня интересует байесовский подход, который заключается в следующем. Первоначально я считаю , что следует распределение . Я принимаю показания . Есть ли какой-то подход к обновлению на основе моих новых показаний?F n X $X$$F$$n$$X$$F$

Я знаю, что звучу так, будто я противоречу самому себе: если я верю исключительно в как свое предыдущее распространение, то никакие данные не должны убедить меня в обратном. Тем не менее, предположим, что были и мои данные были похожи . Видя , я, очевидно, не могу придерживаться своего предыдущего, но как мне его обновить?F U n i f [ 0 , 1 ] ( 0,3 , 0,5 , 0,9 , 1,7 ) $F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

Обновление: основываясь на предложениях в комментариях, я начал смотреть на процесс Дирихле. Позвольте мне использовать следующие обозначения:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

После формулирования моей исходной проблемы на этом языке, я думаю, меня интересует следующее: . Как это сделать?$\theta_{n+1} | x_1,...,x_n$

В этом наборе заметок (стр. 2) автор сделал пример (схема Поля Урна). Я не уверен, если это актуально.$\theta_{n+1} | \theta_1,...,\theta_n$

Обновление 2: я также хотел бы спросить (после просмотра заметок): как люди выбирают для DP? Это похоже на случайный выбор. Кроме того, как люди выбирают предыдущий для DP? Должен ли я просто использовать априор для качестве моего априора для ?H θ $\alpha$$H$$\theta$$H$

Поскольку вы хотите использовать байесовский подход, вам необходимо принять предварительные знания о том, что вы хотите оценить. Это будет в форме распределения.

Теперь есть проблема, что это теперь распределение по дистрибутивам. Однако это не проблема, если вы предполагаете, что распределения-кандидаты происходят из некоторого параметризованного класса распределений.

Например, если вы хотите предположить, что данные распределены по Гауссу с неизвестным средним, но с известной дисперсией, то все, что вам нужно, - это приоритет перед средним.

Оценка MAP неизвестного параметра (назовите его ) может продолжаться при условии, что все точки наблюдения / данные являются условно независимыми с учетом неизвестного параметра. Тогда оценка MAP$\theta$

,$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

где

.$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$

Следует отметить, что существуют конкретные комбинации априорной вероятности и распределения кандидатов которые приводят к легким (закрытым формам) обновлениям при получении большего количества точек данных.$\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

Для оценки плотности вам не нужно

.$\theta_{n+1}|x_{1},\ldots,x_{n}$

Формула в примечаниях относится к прогнозирующему распределению процесса Дирихле.$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

Для оценки плотности вы фактически должны сделать выборку из прогнозирующего распределения

Выборка из приведенного выше распределения может быть выполнена либо с помощью условных методов, либо с помощью маргинальных методов. Для условных методов взгляните на статью Стивена Уокера [1]. Для маргинальных методов вы должны проверить в работе Рэдфорда Нила [2].

Для параметра конкнетирования Майк Уэст [3] предлагает метод вывода в процедуре MCMC, включающий полное условное распределение для α . Если вы решите не обновлять концентрацию α в процедуре MCMC, вам следует иметь в виду, что если вы выберете для нее большое значение, то число различных значений, извлеченных из процесса Дирихле, будет больше, чем число различных значений, если будет использовано небольшое число для α .$\alpha$$\alpha$$\alpha$$\alpha$

[1] С.Г., Уокер (2006). Отбор проб из смеси Дирихле с ломтиками. Коммуникации в статистике (моделирование и вычисления).

[2] Р. М., Нил (2000). Марковские цепные методы Монте-Карло для моделей процессов Дирихле. Журнал вычислительной и графической статистики. Том 9, № 2, с. 249-265

[3] М., Вест (1992). Оценка гиперпараметров в моделях смеси процессов Дирихле. Технический отчет

Есть ли какой-то подход к обновлению F на основе моих новых показаний?

Есть что-то именно для этого. Это в значительной степени основная идея байесовского вывода.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

$p(\theta)$$F$$p(y|\theta)$$\theta$

$p(\theta)$