Докажите, что максимальное распределение энтропии с фиксированной ковариационной матрицей является гауссовым

13

Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией.

Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?

введите описание изображения здесь

Таррар
источник

Ответы:

13

Помеченный шаг действителен, потому что (a) и q имеют одинаковые нулевые и вторые моменты и (b) log ( p ) - полиномиальная функция компонентов x , члены которых имеют суммарные степени 0 или 2 .pqlog(p)x02


Вам нужно знать только две вещи о многомерном нормальном распределении с нулевым средним:

  1. log(p)x=(x1,x2,,xn) Cpij

    log(p(x))=C+i,j=1npijxixj.

    CpijΣ

  2. Σ

    Σij=Ep(xixj)=p(x)xixjdx.

Мы можем использовать эту информацию для разработки интеграла:

(q(x)p(x))log(p(x))dx=(q(x)p(x))(C+i,j=1npijxixj)dx.

Он разбивается на сумму двух частей:

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0qp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0q(x)xixjdxp(x)xixjdxΣij

(q(x)p(x))log(p(x))dx=0q(x)log(p(x))dx=p(x)log(p(x))dx.

Whuber
источник
1

Я думаю, что происходит, что в интегралах в (4.27) и (4.28) вы имеете Q(Икс) и п(Икс) умножение сроков формы σяJИксяИксJ (так как п(Икс)нормальная плотность, когда вы берете журнал, вы получаете именно такие термины из показателя степени плюс константы). Но тогда условие в теореме гарантирует, что эти члены умножаются нап(Икс) из Q(Икс) интегрировать в то же значение.

Ф. Туселл
источник