Простое приближение кумулятивного распределения Пуассона в длинном хвосте?

Я хочу определить емкость $C$ таблицы так, чтобы она имела остаточные шансы менее $2^{-p}$ переполнить для данного $p\in[40\dots 120]$ , предполагая, что число записей следует закону Пуассона с заданной ожидаемой величиной . $E\in[10^3\dots 10^{12}]$

В идеале я хочу, чтобы наименьшее целое число было Cтаким, что 1-CDF[PoissonDistribution[E],C] < 2^-pдля заданного pи E; но я доволен Cнемного выше этого. Mathematica отлично подходит для ручных вычислений, но я хотел бы вычислять Cс pи Eво время компиляции, что ограничивает меня 64-битной целочисленной арифметикой.

Обновление: в Mathematica (версия 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]все 1231выглядит правильно (спасибо @Procrastinator); однако результат для обоих p = 50и p = 60есть 1250, что неправильно с небезопасной стороны (и имеет значение: мой эксперимент повторяется примерно в раз или более, и я хочу явно меньше, чем общих шансов отказа). Мне нужна грубая, но безопасная аппроксимация с использованием только 64-битной целочисленной арифметики , доступной в C (++) во время компиляции. $2^{25}$ $2^{-30}$

poisson-distribution fgrieu
источник

Как насчет C = Quantile[PoissonDistribution[E],1-2^p]?

Главный член функции вероятности массы Пуассона доминирует в хвосте.

кардинал

@Procrastinator: да, это работает в Mathematica (за исключением признаков p, проблем точности, имен Eи Cзарезервированных). НО мне нужно простое приближение к этому, возможно, грубое (но безопасное) использование только 64-битной целочисленной арифметики!

fgrieu

По поводу обновления: Mathematica 8 возвращает 1262 для

и 1290 для

. Нормальное приближение (@Proc): нельзя ожидать, что это будет хорошо работать в хвостах, что имеет решающее значение для расчета.

p = 50

$p=50$

p = 60

$p=60$

whuber

Возможно, вам следует спросить о stackoverflow. Я не знаком с вашими ограничениями. Я не знаю, что мешает вам использовать динамическое выделение памяти, или вы можете использовать ветвление для определения размера массива, или какова стоимость определения массива, который в два раза больше необходимого вам размера (а затем не использует все этого). Если какая-то функция, такая как

(просто в качестве примера) дал вам точный ответ, сможете ли вы реализовать приближение под ваши ограничения или нет? Это похоже на проблему программирования сейчас.

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

Дуглас Заре

Ответы:

Распределение Пуассона с большим средним значением приблизительно нормально, но вы должны быть осторожны, если хотите, чтобы хвост был ограничен, а нормальное приближение пропорционально менее точно вблизи хвостов.

Один из подходов, используемых в этом вопросе МО и с биномиальным распределением, состоит в том, чтобы признать, что хвост уменьшается быстрее, чем геометрический ряд, поэтому вы можете написать явную верхнюю границу в виде геометрического ряда.

\begin{array}{rcl} \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{k}}{k!} & < & \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{D}}{D!} (\frac{μ}{D + 1})^{k - D} \\ = & \exp (- μ) \frac{μ^{D}}{D!} \frac{1}{1 - \frac{μ}{D + 1}} \\ < & \exp (- μ) \frac{μ^{D}}{\sqrt{2 π D} (D / e)^{D}} \frac{1}{1 - \frac{μ}{D + 1}} \\ = & \exp (D - μ) (\frac{μ}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - μ)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

Линия 2 строка 3 была связана с формулой Стирлинга. На практике я думаю, что вы хотите решить численно с помощью бинарного поиска. Метод Ньютона, начинающийся с начального предположения $\to$ $-p \log 2 = \log(\text{bound})$ также должен работать. $D = \mu + c \sqrt \mu.$

Например, при и численное решение, которое я получаю, составляет 1384,89. Распределение Пуассона со средним значением принимает значения от до $p=100$ $\mu = 1000$ $1000$ $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

Дуглас Заре
источник

+1. Другой подход связывает вероятности хвоста Пуассона (справа) с вероятностями хвоста гамма-распределений (слева), которые можно близко (более) оценить в приближении седловой точки.

whuber

От этого далеко до чего-то, ограниченного 64-битной целочисленной арифметикой (без exp, log, sqrt ..), но я над этим поработаю; Спасибо всем!

fgrieu

(+1) Вплоть до вызова приближения Стерлинга (что не имеет значения) это как раз та граница, на которую я (непрозрачно) ссылался в своем комментарии к ОП. (Например, см. Здесь .)

кардинал

$Y$ $\lambda$

G (x) = \sqrt{2 (x \ln \frac{x}{λ} + λ - x)} s i g n (x - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$

Φ

$\Phi$

k \geq 0

$k\ge 0$

п (Y < К) \leq Φ (г (К)) \leq п (Y \leq К),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$

Φ (г (К - 1)) \leq п (Y < К) \leq Φ (г (К))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$ для всех целых

k > 0

$k>0$ . Кроме того,

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$

Φ (G (k - 1 / 2)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

Павел Рузанкин
источник

Если бы вы могли выписать ключевое уравнение (при условии, что их всего один или два), это помогло бы, если бы в какой-то момент связь перестала работать.

jbowman