Почему взаимозаменяемость случайных величин важна в иерархических байесовских моделях?

Почему взаимозаменяемость случайных величин важна для иерархического байесовского моделирования?

Взаимозаменяемость не является существенной особенностью иерархической модели (по крайней мере, не на уровне наблюдения). Это в основном байесовский аналог «независимого и одинаково распределенного» из стандартной литературы. Это просто способ описания того, что вы знаете о текущей ситуации. Это именно то, что «тасование» не меняет вашу проблему. Один из способов, которым мне нравится думать об этом, - рассмотреть случай, когда вам дали но вам не сказали значение . Если вы узнаете, что , вы будете подозревать, что определенные значения больше других, то последовательность не подлежит обмену. Если это ничего не говорит о$x_{j}=5$$j$$x_{j}=5$$j$$j$, то последовательность является обменной. Обратите внимание, что способность к обмену «в информации», а не «в реальности» - это зависит от того, что вы знаете.

В то время как взаимозаменяемость не является существенной с точки зрения наблюдаемых переменных, вероятно, было бы довольно трудно приспособить любую модель без некоторого понятия об обменности, потому что без взаимозаменяемости у вас нет оснований объединять наблюдения. Таким образом, я предполагаю, что ваши выводы будут намного слабее, если у вас нет возможности обмена в модели. Например, рассмотрим для . Если полностью взаимозаменяемы, это означает и . Если условно заменяемы с учетом то это означает$x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$, Если являются условно заменяемыми, учитывая то это означает . Но обратите внимание, что в любом из этих двух «условно заменяемых» случаев качество вывода снижается по сравнению с первым, поскольку в задачу входят дополнительные параметров. Если у нас нет взаимозаменяемости, то у нас в основном несвязанных проблем.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

По существу, возможность обмена означает, что мы можем сделать вывод для любых и которые являются частично заменяемыми$x_{i}\to \text{parameters}\to x_{j}$$i$$j$

«Существенное» слишком расплывчато. Но, не вдаваясь в технические подробности, если последовательность взаимозаменяема, то условно независимы, учитывая некоторый ненаблюдаемый параметр (ы) с распределением вероятностей . То есть . не обязательно должна быть одномерной или даже конечномерной, и может быть далее представлена ​​в виде смеси и т. Д.X i Θ π p ( X ) = ∫ p ( X i | Θ ) d π ( Θ ) $X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

Взаимозаменяемость важна в том смысле, что эти условные отношения независимости позволяют нам соответствовать моделям, которые мы почти наверняка не могли бы иначе.

Это не так! Я не эксперт здесь, но я дам свои два цента. В общем, когда у вас есть иерархическая модель, скажем,

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Мы делаем условные предположения о независимости, то есть, условно на , являются . Если второй уровень не подлежит обмену, тогда вы можете включить другой уровень, который делает его обменным. Но даже в том случае, если вы не можете сделать предположение об обмене мнениями, модель все еще может хорошо соответствовать вашим данным на первом уровне. Θ $\Theta_{2}$$\Theta_{1}$

И последнее, но не менее важное: взаимозаменяемость важна только в том случае, если вы хотите мыслить в терминах теоремы о представлении Де Финетти. Вы можете просто подумать, что приоры являются инструментами регуляризации, которые помогут вам соответствовать вашей модели. В этом случае предположение о взаимозаменяемости так же хорошо, как ваша модель соответствует данным. Другими словами, если вы рассматриваете байесовскую иерархическую модель как способ улучшить соответствие ваших данных, то взаимозаменяемость не имеет никакого значения.