Преимущества метода Бокса-Мюллера по сравнению с обратным методом CDF для моделирования нормального распределения?

Чтобы моделировать нормальное распределение из набора однородных переменных, есть несколько методов:

Алгоритм Бокса-Мюллера , в котором производится выборка двух независимых равномерных переменных в $(0,1)$ и преобразование их в два независимых стандартных нормальных распределения с помощью:
$Z_{0} = \sqrt{- 2 ln U_{1}} cos (2 π U_{0}) Z_{1} = \sqrt{- 2 ln U_{1}} sin (2 π U_{0})$ $Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0)$
метод CDF , где можно приравнять нормальный cdf $(F(Z))$ к Унифицированной переменной:
$F (Z) = U$ $F(Z) = U$ и получить $Z = F^{- 1} (U)$ $Z = F^{-1}(U)$

Мой вопрос: что вычислительно более эффективно? Я бы подумал, что это последний метод - но большинство статей, которые я читаю, используют Бокса-Мюллера - почему?

Дополнительная информация:

Обратное значение нормального CDF известно и определяется как:

F^{- 1} (Z) = \sqrt{2} \erf^{- 1} (2 Z - 1), Z \in (0, 1) .

$F^{-1}(Z)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2Z - 1), \quad Z\in(0,1).$

Следовательно:

Z = F^{- 1} (U) = \sqrt{2} \erf^{- 1} (2 U - 1), U \in (0, 1) .

$Z = F^{-1}(U)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2U - 1), \quad U\in(0,1).$

normal-distribution simulation uniform user2350366
источник

Что такое обратное нормальному cdf? Он не может быть вычислен аналитически, только если исходный CDF аппроксимируется кусочно-линейной функцией.

Артём Соболев

Разве два не тесно связаны? Ящик Мюллера, я считаю, является частным случаем для 2-х вариативного поколения.

ttnphns

Привет, Бармалей, я добавил больше информации выше. У Inverse CDF есть выражение - однако

должен быть вычислен вычислительно - так что может быть поэтому предпочтительным является ящик Мюллера? Я предполагал, что

будет вычисляться в таблицах поиска, так же, как значения

? Значит, не намного дороже в вычислительном отношении? Однако я могу ошибаться.

{erf}^{- 1}

$\text{erf}^{-1}$

{erf}^{1}

$\text{erf}^1$

sin

$\text{sin}$

cosine

$\text{cosine}$

user2350366

Существуют версии Бокса-Мюллера без греха и косинуса.

Сиань

@Dilip Для приложений с очень низкой точностью, таких как компьютерная графика, синус и косинус действительно могут быть оптимизированы с помощью подходящих справочных таблиц. Однако для статистических приложений такая оптимизация никогда не используется. В конечном счете это не совсем любой труднее вычислительном

, чем

или

, но на современных вычислительных систем элементарных функций , связанных с

--including функции тригонометрические - как правило , должны быть оптимизированы (

были основные инструкции пути назад на Intel Чип 8087!), Тогда как erf либо недоступен, либо закодирован на более высоком (= более медленном) уровне.

{erf}^{- 1}

$\text{erf}^{-1}$

\log

$\log$

sqrt

$\text{sqrt}$

\exp

$\exp$

\cos

$\cos$

\log

$\log$

whuber

Ответы:

С чисто вероятностной точки зрения оба подхода верны и, следовательно, эквивалентны. С алгоритмической точки зрения сравнение должно учитывать как точность, так и стоимость вычислений.

Box-Muller полагается на равномерный генератор и стоит примерно столько же, сколько и этот равномерный генератор. Как упоминалось в моем комментарии, вы можете обойтись без синус или косинус, если не без логарифма:

генерировать пока $U_{1}, U_{2} \overset{iid}{\sim} U (- 1, 1)$ $U_1,U_2\stackrel{\text{iid}}{\sim}\mathcal{U}(-1,1)$ $S=U_1^2+U_2^2\le 1$
принять и определить $Z=\sqrt{-2\log(S)/S}$ $X_{1} = Z U_{1}, X_{2} = Z U_{2}$ $X_1=ZU_1\,,\ X_2=Z U_2$

Общий алгоритм инверсии требует обращения к обратному нормальному cdf, например, qnorm(runif(N))в R, что может быть более дорогостоящим, чем приведенное выше, и, что более важно, может потерпеть неудачу в терминах точности, если только функция квантиля не является хорошо закодированной.

Чтобы следить за комментариями, сделанными whuber , сравнение rnorm(N)и qnorm(runif(N))имеет преимущество обратного cdf, как во время выполнения:

> system.time(qnorm(runif(10^8)))
sutilisateur     système      écoulé
 10.137           0.120      10.251 
> system.time(rnorm(10^8))
utilisateur     système      écoulé
 13.417           0.060      13.472` `

и с точки зрения посадки в хвост: enter image description here

Следуя комментарию Рэдфорда Нила в моем блоге , я хочу отметить, что по умолчанию rnormв R используется метод инверсии, следовательно, приведенное выше сравнение отражает интерфейс, а не сам метод моделирования! Чтобы процитировать R документацию по RNG:

‘normal.kind’ can be ‘"Kinderman-Ramage"’, ‘"Buggy
 Kinderman-Ramage"’ (not for ‘set.seed’), ‘"Ahrens-Dieter"’,
 ‘"Box-Muller"’, ‘"Inversion"’ (the default), or ‘"user-supplied"’.
 (For inversion, see the reference in ‘qnorm’.)  The
 Kinderman-Ramage generator used in versions prior to 1.7.1 (now
 called ‘"Buggy"’) had several approximation errors and should only
 be used for reproduction of old results.  The ‘"Box-Muller"’
 generator is stateful as pairs of normals are generated and
 returned sequentially.  The state is reset whenever it is selected
 (even if it is the current normal generator) and when ‘kind’ is
 changed.

Сиань
источник

\log

$\log$

\sqrt{}

$\sqrt{}$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$

X_{1}

$X_1$

X_{2}

$X_2$

U_{i}

$U_i$

- 1

$-1$

1

$1$

0

$0$

1

$1$

R 3.0.2rowSums

S

$S$ qnorm(runif(N))InverseCDF[NormalDistribution[], #] &

Я согласен, qnorm(runif(N))даже на 20% быстрее, чемrnorm(N)

Сиань

+1 за новую информацию. (На самом деле, ваш оригинальный пост заслуживал отдельного голосования.) Я хотел бы еще раз подчеркнуть, что выводы могут измениться на другой платформе. Например, я бы определенно использовал Box-Mueller при кодировании на C, Fortran или ассемблере, где у меня был бы доступ к чрезвычайно быстрым реализациям алгебраических и элементарных трансцендентных функций, которые были бы намного быстрее, чем любая реализация

Φ^{- 1}

$\Phi^{-1}$

\sin

$\sin$

\cos

$\cos$

Для сравнения, используя i7-3740QM при 2,7 ГГц и R 3,12, для следующих вызовов:

RNGkind(kind = NULL, normal.kind = 'Inversion');At <- microbenchmark(A <- rnorm(1e5, 0, 1), times = 100L);RNGkind(kind = NULL, normal.kind = 'Box-Muller');Bt <- microbenchmark(B <- rnorm(1e5, 0, 1), times = 100L)

я получаю mean 11.38363 median 11.18718для инверсии и mean 13.00401 median 12.48802для Бокса-Мюллера

Авраама