Учет дискретных или двоичных параметров в байесовском информационном критерии

BIC штрафует в зависимости от количества параметров. Что если некоторые из параметров являются своего рода переменными двоичного индикатора? Они считаются полными параметрами? Но я могу объединить двоичных параметров в одну дискретную переменную, которая принимает значения в . Они должны учитываться как параметров или как один параметр? $m$ $\{0,1,...,2^m-1\}$ $m$

bayesian model-selection bic parameterization высокая пропускная способность
источник

Отчасти из-за этой неточности в «количестве параметров» в BIC DIC ( информационный критерий отклонения ) ввел эффективное количество параметров как где и Обратите внимание, что зависит от данных. (Как уже говорилось там , DIC также имеет свои собственные проблемы!)

п_{D} (Икс) знак равно Е [D (θ) | Икс] - D (Е [θ | Икс])

$p_D(x) = \mathbb{E}[D(\theta)|x] - D(\mathbb{E}[\theta|x])$

D (θ) знак равно - 2 журнал е (Икс | θ)

$D(\theta)=-2\log f(x|\theta)$

DIC (Икс) знак равно п_{D} (Икс) + Е [D (θ) | Икс]

$\text{DIC}(x) = p_D(x) + \mathbb{E}[D(\theta)|x]$

p_{D} (x)

$p_D(x)$

Сиань
источник

E [l o g P (y | M o d e l)] = \log (\int P (y | θ) P_{m o d e l} (θ) d θ)

$E[log P(y|Model)] = \log(\int P(y|\theta)P_{model}(\theta)d\theta)$

Да, BIC является приблизительным значением предельной вероятности. Тем не менее, это только приближение, которое сходится к «истине», когда размер выборки увеличивается до бесконечности. Поэтому он не является напрямую байесовским (не использует предшествующее, во-первых!) И совершенно не связан с MCMC (где приближение имеет тип Монте-Карло: если я увеличу количество симуляций, приближение улучшится). DIC считается более байесовским для многих (в том числе Б. Карлина и Д. Шпигельхатлера)

Сиань

Я предполагаю, что мой вопрос был, является ли DIC приближением вероятности предельной модели тоже? Думаю, мне следует прочитать об этом самому, но так как мы обсуждали это, я подумал, что объяснение этого сделает ответ более полным. Спасибо!

highBandWidth

Учет дискретных или двоичных параметров в байесовском информационном критерии

Ответы: