Вывод Negentropy. Застрять

Итак, этот вопрос несколько сложен, но я старательно пытался сделать его как можно более простым.

Цель: Короче говоря, есть происхождение негэнтропии, которое не связано с кумулянтами более высокого порядка, и я пытаюсь понять, как это было получено.

Фон: (Я все это понимаю)

Я самостоятельно изучаю книгу «Анализ независимых компонентов» , найденную здесь. (Этот вопрос из раздела 5.6, если у вас есть книга - «Приближение энтропии неполиномиальными функциями»).

У нас есть , который является случайной величиной и чью негэнтропию мы хотим оценить, исходя из некоторых наблюдений, которые мы имеем. PDF от x определяется как p x ( ζ ) . Негентропия - это просто разница между дифференциальной энтропией стандартизированной гауссовской случайной величины и дифференциальной энтропией x . Дифференциальная энтропия здесь дается H , такой что:$x$$x$$p_x(\zeta)$$x$$H$

$$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$$

и так, негэнтропия дается

$$J(x) = H(v) - H(x)$$

где - стандартизированное гауссово rv, где PDF задается как ϕ ( ζ ) .$v$$\phi(\zeta)$

Теперь, как часть этого нового метода, моя книга вывела оценку PDF для формуле:$x$

$$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$$

(Где . Кстати, i - это не степень, а индекс).$c_i = \mathbb{E}\{F^i(x)\}$$i$

Пока я «принимаю» эту новую формулу PDF и спрошу об этом в другой день. Это не моя главная проблема. Что он делает сейчас, так это вставляет эту версию PDF-файла обратно в уравнение негэнтропии и в итоге получает :$x$

$$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$$

Имейте в виду, сигма (здесь и для остальной части поста), просто зацикливается вокруг индекса . Например, если бы у нас было только две функции, сигнал был бы зациклен для i = 2 и i = 2 . Конечно, я должен рассказать вам о тех функциях, которые он использует. Таким образом, очевидно, что эти функции F i определены следующим образом:$i$$i=2$$i=2$$F^i$

Функции в этом случае не являются полиномиальными функциями. (Мы предполагаем, что rv x является нулевым средним и имеет единичную дисперсию). Теперь давайте сделаем некоторые ограничения и дадим свойства этих функций:$F^i$$x$

$$F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$$

$$F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$$

Для упрощения расчетов, давайте сделаем еще один, чисто техническое предположение: Функции , сформировать ортонормированную систему, как таковую:$F^i, i = 1, ... n$

$$\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$$

и

$$\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$$

Почти готово! ОК, так что все это было фоном, а теперь по вопросу. Задача состоит в том, чтобы просто поместить этот новый PDF в формулу дифференциальной энтропии . Если я пойму это, я пойму все остальное. Теперь в книге дается вывод (и я с этим согласен), но я застрял ближе к концу, потому что я не знаю / не вижу, как это отменяется. Кроме того, я не знаю, как интерпретировать запись о-о из разложения Тейлора.$H(x)$

Это результат:

Используя разложение Тейлора , для H ( x ) получаем:$(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$$H(x)$

$$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$$

и так

Вопрос: (я не понимаю этого)

$$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$$

Итак, моя проблема: за исключением , я не понимаю, как он получил последние 4 слагаемых в последнем уравнении. (т. е. 0, 0 и 2 последних члена). Я все понимаю до этого. Он говорит, что он использовал отношения ортогональности, данные в свойствах выше, но я не понимаю, как. (Я также не понимаю здесь маленькую нотацию, в том смысле, как она используется?)$H(v)$

БЛАГОДАРНОСТЬ!!!!

РЕДАКТИРОВАТЬ:

Я пошел дальше и добавил изображения из книги, которую я читаю, это в значительной степени говорит о том, что я сказал выше, но на всякий случай кому-то нужен дополнительный контекст.

$c_i^2$

$c_i$

$$c_i=\int p_0(\xi)G^i(\xi)d\xi.$$ $\xi$$\xi'$$c_i$ ).

>> Чтобы получить нулевые условия:

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$$\log\varphi(\xi)$

$$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$$ $$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$$ where I have dropped the constants outside the integrals.

From here, note that in (5.39) it is stated that $\int \varphi(\xi)F^i(\xi)\xi^k$ is $0$ for $k=0,1,2$. The integral on the first term in the right of eq. $(1)$ is of this form (with $k=2$) and the integral in the second term too, (with $k=0$). You just have to exploit this fact on the sums and you are done!

>> To obtain the $\sum c_i^2$ terms:

Note that the integral to be obtained to obtain these terms is:

$$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$$ We can use the multinomial theorem to expand the squared sum. This gives us: $$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$$ However, from (5.39) again, note that all the terms in this sum which include integrals for the form $$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$$ are zero for $i\neq j$ and one for $i=j$. This leave us with the result $$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$$

>> About the $o(\text{whatever})$ notation

I think this is pretty confusing from the authors, but I recall that they use it just to mean that there are terms of order $\text{whatever}$ every time they put $o(\text{whatever})$ (i.e., just like the big-O notation). However, as @Macro commented on this same answer, there is a difference between the big-O notation and the little-O one. Maybe you should check by yourself and see which one suits the problem in this Wikipedia article.

PS: This is a great book by the way. The papers of the authors on the subject are also very good and are a must read if you are trying to understand and implement ICA.