Почему информационная матрица Фишера является положительной полуопределенной?

18

Пусть . Информационная матрица Фишера определяется как:θRn

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

Как я могу доказать, что информационная матрица Фишера является положительной полуопределенной?

madprob
источник
7
Разве это не ожидаемая ценность внешнего произведения партитуры с самим собой?
Нил Г

Ответы:

19

Проверьте это: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Из определения мы имеем

яяJзнак равноЕθ[(яжурналеИкс|Θ(Икс|θ))(JжурналеИкс|Θ(Икс|θ))],
для, в котором. Ваше выражение дляследует из этого в условиях регулярности.я,Jзнак равно1,...,Кязнак равно/θяяяJ

Для ненулевой вектор Uзнак равно(U1,...,UК)рN , то из линейности в надежде , что

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Икс|θ))(ΣJзнак равно1КUJJжурналеИкс|Θ(Икс|θ))]знак равноЕθ[(Σязнак равно1КUяяжурналеИкс|Θ(Икс|θ))2]0,

Если это компонентное обозначение слишком уродливо, обратите внимание, что информационная матрица Фишера H=(Iij) может быть записана как H=Eθ[SS] , в которой вектор S оценок определяется как

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

Следовательно, мы имеем однострочник

UЧАСUзнак равноUЕθ[SS]Uзнак равноЕθ[USSU]знак равноЕθ[||SU||2]0.

Zen
источник
3
(+1) Хороший ответ и добро пожаловать обратно, дзен. Я забеспокоился, что мы могли бы навсегда потерять тебя, учитывая продолжительность твоего перерыва. Это было бы настоящим позором!
кардинал
5

ВНИМАНИЕ: не общий ответ!

е(Икс|θ)

гусль
источник