Докажите, что максимальное распределение энтропии с фиксированной ковариационной матрицей является гауссовым

Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией.

Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?

Помеченный шаг действителен, потому что (a) и q имеют одинаковые нулевые и вторые моменты и (b) log ( p ) - полиномиальная функция компонентов x , члены которых имеют суммарные степени 0 или 2 .$p$$q$$\log(p)$$\mathbf{x}$$0$$2$

---

Вам нужно знать только две вещи о многомерном нормальном распределении с нулевым средним:

1. $\log(p)$$\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$$p_{ij}$

   $$\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$$

   $C$$p_{ij}$$\Sigma$

2. $\Sigma$

   $$\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$$

Мы можем использовать эту информацию для разработки интеграла:

$$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$$

Он разбивается на сумму двух частей:

• $\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$$q$$p$

• $\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$$\int q(\mathbf{x}) x_i x_jd\mathbf{x}$$\int p(\mathbf{x}) x_i x_jd\mathbf{x}$$\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$$\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

Я думаю, что происходит, что в интегралах в (4.27) и (4.28) вы имеете $q(x)$ и $p(x)$ умножение сроков формы $\sigma_{ij}x_ix_j$ (так как $p(x)$нормальная плотность, когда вы берете журнал, вы получаете именно такие термины из показателя степени плюс константы). Но тогда условие в теореме гарантирует, что эти члены умножаются на$p(x)$ из $q(x)$ интегрировать в то же значение.