Ожидаемое значение гауссовской случайной величины, преобразованной с помощью логистической функции

И логистическая функция, и стандартное отклонение обычно обозначаются . Я буду использовать и для стандартного отклонения.$\sigma$$\sigma(x) = 1/(1+\exp(-x))$$s$

У меня есть логистический нейрон со случайным входом которого среднего и стандартное отклонение я знаю. Я надеюсь, что разница от среднего значения может быть хорошо аппроксимирована некоторым гауссовским шумом. Итак, с небольшим злоупотреблением обозначениями предположим, что он производит . Каково ожидаемое значение ? Стандартное отклонение может быть большим или маленьким по сравнению с или . Хорошее приближение замкнутой формы для ожидаемого значения будет почти таким же хорошим, как и решение замкнутой формы.$\mu$$s$$\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$$\sigma(N(\mu,s^2))$$s$$\mu$$1$

Я не думаю, что существует решение в закрытой форме. Это можно рассматривать как свертку, и характерная функция для логистической плотности известна ( ), но я не уверен, насколько это поможет. Обратный символический калькулятор не смогло распознать плотность при свертке плотности логистического дистрибутиву и стандартного нормального распределения, который наводит на мысль , но не доказывает , что не существует простого элементарный интеграл. Более косвенные доказательства: в некоторых статьях о добавлении гауссовского входного шума в нейронные сети с логистическими нейронами в работах также не было выражений в замкнутой форме.$\pi t ~\text{csch} ~\pi t$$0$

Этот вопрос возник при попытке понять ошибку в приближении среднего поля в машинах Больцмана.

Вот что я в итоге использовал:

Напишите где . Мы можем использовать разложение в ряд Тейлора.X ∼ N ( 0 , s 2$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Есть проблемы сходимости. У логистической функции есть полюс, где , поэтому при , нечетно. Расхождение не то же самое, что префикс бесполезный, но это приближение ряда может быть ненадежным, когда является значительным.$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Поскольку , мы можем записать производные как полиномы в . Например, и . Коэффициенты связаны с OEIS A028246 .$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

Здесь у вас есть случайная переменная, которая следует логит-нормальному (или логистически-нормальному) распределению (см. Википедию ), то есть . Моменты логит-нормального распределения не имеют аналитических решений.$\mbox{logit}[x] \sim N(\mu, s^2)$

Но, конечно, их можно получить с помощью численного интегрирования. Если вы используете R, есть пакет logitnorm , в котором есть все, что вам нужно. Пример:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Это дает:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Таким образом, есть даже вспомогательная функция, которая непосредственно даст вам среднее значение и дисперсию.