Оценка ковариационного апостериорного распределения многомерного гауссова

15

Мне нужно «изучить» распределение двумерного гауссиана с несколькими выборками, но хорошая гипотеза о предыдущем распределении, поэтому я хотел бы использовать байесовский подход.

Я определил свой предыдущий:

P(μ)N(μ0,Σ0)
μ0=[00]   Σ0=[160027]

И мое распределение дало гипотезу \ mathbf {\ mu} = \ begin {bmatrix} 0 \\ 0 \ end {bmatrix} \ \ \ \ mathbf {\ Sigma} = \ begin {bmatrix} 18 & 0 \\ 0 & 18 \ end {bmatrix}

P(x|μ,Σ)N(μ,Σ)
μ=[00]   Σ=[180018]

Теперь я знаю, благодаря здесь , чтобы оценить среднее значение данных

P(μ|x1,,xn)N(μ^n,Σ^n)

Я могу вычислить:

μ^n=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0

Σ^n=1nΣ0(Σ0+1nΣ)1Σ

Теперь возникает вопрос, может быть, я ошибаюсь, но мне кажется, что Σn - это просто ковариационная матрица для предполагаемого параметра μn , а не предполагаемая ковариация моих данных. То, что я хотел бы, чтобы вычислить также

P(Σn1|x1,,xn)

для того, чтобы получить полностью определенный дистрибутив на основе моих данных.

Это возможно? Это уже решено вычислением Σn и это просто неверно выражено формулой выше (или я просто неверно интерпретирую это)? Ссылки будут оценены. Большое спасибо.

РЕДАКТИРОВАТЬ

Из комментариев выяснилось, что мой подход был «неправильным» в том смысле, что я предполагал постоянную ковариацию, определяемую Σ . Что мне нужно, так это поставить априор на него, P(Σ) , но я не знаю, какой дистрибутив мне следует использовать, и какова процедура его обновления.

unziberla
источник
Вы уже указали ковариацию своих данных как - и вы не указали предыдущий дистрибутив, который будет обновляться из? Σ=[180018]
Корона
Я понимаю вашу точку зрения. Таким образом, с моим подходом я в основном предполагал, что дисперсия была постоянной и определенной. Если я хочу оценить это, мне нужно предварительно. Теперь моя проблема в том, что не понятно, как определите его, и какой будет подходящий для него дистрибутив, но, похоже, это выходит за рамки первого вопроса. P(Σ)F(μΣ,ΣΣ)
unziberla
Тогда поменяйте вопрос :-)
Corone

Ответы:

11

Вы можете выполнить байесовское обновление для ковариационной структуры в том же духе, в котором вы обновили среднее значение. Сопряженным предшествующим для ковариационной матрицы многовариантного нормали является распределение Инверс-Уишарта, поэтому имеет смысл начать с него,

P(Σ)W1(Ψ,ν)

Затем, когда вы получите образец длины вы можете рассчитать примерную ковариационную оценку n Σ X = 1XnΣX=1n(Xμ)(Xμ)

Затем это можно использовать для обновления вашей оценки ковариационной матрицы

P(Σ|X)W1(nΣX+Ψ,n+ν)

Вы можете использовать это среднее значение в качестве вашей точечной оценки ковариации (апостериорная средняя оценка)

E[Σ|X]=nΣX+Ψν+np1

или вы можете выбрать режим (максимальный апостериорный оценщик)

Mode[Σ|X]=nΣX+Ψν+n+p+1

Corone
источник
Большое спасибо. Теперь я предполагаю, что что-то изменится в моем процессе оценки. В качестве первого шага я должен оценить ковариацию с вашей процедурой, а затем мое распределение с учетом предполагаемой гипотезы woulb будет и так как оценивается и имеет свое собственное распределение, я уверен, что это каким-то образом изменит мою предыдущую формулу для вычисления (как это происходит на гауссовой MLE при использовании выборочной дисперсии). P(X|ц, Σ ) Σ ц пΣ^P(X|μ,Σ^)Σ^μ^n
unziberla
Подход, который вы описываете, будет вместо этого использовать чтобы у меня было фактическое значение ковариации, как если бы я знал это раньше. При частом подходе это звучит неправильно, но, может быть, я чего-то упускаю из-за того, что я предполагаю, что предшествующее известно, и это делает процедуру правильной? Σ^=E[Σ|x1xn]
unziberla
7

Хорошо, я нашел реальное решение для моей проблемы. Я публикую его, даже если правильный ответ на мой (неуместный) вопрос выбран.

В основном, мой вопрос объясняет, как оценить среднее значение, зная ковариацию, и ответ, как оценить ковариацию, зная среднее значение. Но моей настоящей проблемой была оценка с обоими параметрами неизвестно.

Я нашел ответ в Википедии с выводом, объясненным здесь . Сопряженный априор многовариантной нормали - это Normal-inverse-Wishart, который в основном является распределением по многомерным нормалям.

Предыдущие параметры, которые необходимо указать: для определения среднего значения, для определения ковариации и два скалярных значения и которые я бы сказал, определяют, насколько мы уверены по оценке первых двух параметров соответственно.Ψ κ 0 ν 0μ0Ψκ0ν0

Обновленное распределение после наблюдения выборок -вариатной нормали имеет видрnp

P(μ,Σ|X)NIW(κ0μ0+nx¯κ0+n,κ0+n,ν0+n,Ψ+C+κ0nκ0+n(x¯μ0)(x¯μ0)T)

где

x¯=1ni=0nxi

C=i=1n(xix¯)(xix¯)T

поэтому мои желаемые оценочные параметры

E(μ|X)=κ0μ0+nx¯κ0+n
E(Σ|X)=Ψ+C+κ0nκ0+n(x¯μ0)(x¯μ0)Tν0+np1
unziberla
источник