Пусть находится в . Каковы среднее значение и ковариационная матрица (при этом max вычисляется поэлементно)?
Это происходит, например, потому что, если мы используем функцию активации ReLU внутри глубокой сети и предполагаем через CLT, что входы для данного уровня примерно нормальные, то это распределение выходов.
(Я уверен, что многие люди вычисляли это раньше, но я не мог найти результат, перечисленный где-либо в разумно читаемой форме.)
Ответы:
Сначала мы можем уменьшить это, чтобы оно зависело только от определенных моментов одномерного / двумерного усеченного нормального распределения: обратите внимание, конечно, что
Мы будем использовать некоторые результаты из
Розенбаум считает и рассматривает усечение до события .
В частности, мы будем использовать следующие три результата, его (1), (3) и (5). Сначала определите следующее:
Теперь Розенбаум показывает, что:
Также будет полезно рассмотреть специальный случай (1) и (3) с , то есть 1d усечением:ay=−∞
Теперь мы хотим рассмотреть
Мы будем использовать которые являются значениями и когда , ,
Теперь, используя (*), мы получаем и использование обоих (*) и (**) дает так, чтобы
Чтобы найти , нам понадобитсяCov(X+,Y+)
Вот код Python для вычисления моментов:
и тест Монте-Карло, что он работает:
который дает10,000,000
0.000572145310512 0.00298692620286
, указывая, что заявленные ожидания и ковариации соответствуют оценкам Монте-Карло (на основе 10 выборок).источник