Переключиться с моделирования процесса с использованием распределения Пуассона, чтобы использовать отрицательное биномиальное распределение?

$\newcommand{\P}{\mathbb{P}}$ Мы имеем случайный процесс , который может или может-не-происходить несколько раз в течение заданного периода времени $T$ . У нас есть поток данных из уже существующей модели этого процесса, который обеспечивает вероятность ряда событий, происходящих в период $0 \leq t < T$ . Эта существующая модель устарела, и нам нужно выполнить живые проверки данных фида для ошибок оценки. Старая модель, производящая поток данных (который обеспечивает вероятность $n$ событий, происходящих за оставшееся время $t$ ), приблизительно распределена по Пуассону.

Таким образом, чтобы проверить наличие аномалий / ошибок, мы допустим, чтобы $t$ было оставшимся временем, а $X_t$ - общим числом событий, произошедших за оставшееся время $t$ . Старая модель подразумевает оценки $\P(X_t \leq c)$ . Таким образом, по нашему предположению $X_t\sim \operatorname{Poisson}(\lambda_{t})$ имеем:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Чтобы вывести нашу частоту событий $\lambda_t$ из выходных данных старой модели (наблюдения $y_{t}$ ), мы используем подход пространства состояний и моделируем отношение состояний следующим образом: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Мы фильтруем наблюдения из старой модели, используя модель пространства состояний [затухание с постоянной скоростью] для эволюции $\lambda_t$ чтобы получить отфильтрованное состояние $E(\lambda_t|Y_t)$ и пометить аномалию / ошибку в расчетной частоте события из данные канала, если $E(\lambda_t|Y_t) < y_t$ .

Этот подход прекрасно работает при обнаружении ошибок в подсчитанных событиях за полный период времени $T$ , но не так хорошо, если мы хотим сделать то же самое для другого периода $0 \leq t < \sigma$ где $\sigma < \frac{2}{3} T$ . Чтобы обойти это, мы решили, что теперь хотим переключиться на использование отрицательного биномиального распределения, так что теперь мы предполагаем $X_t\sim NB(r, p)$ и имеем:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ где параметр $\lambda$ теперь заменен на $r$ и $p$, Это должно быть легко реализовать, но у меня возникли некоторые трудности с интерпретацией, и поэтому у меня есть несколько вопросов, с которыми я бы хотел вам помочь:

1. Можем ли мы просто установить $p = \lambda$ в отрицательном биномиальном распределении? Если нет, то почему?

2. Предполагая, что мы можем установить $p = f(\lambda)$ где $f$ - некоторая функция, как мы можем правильно установить $r$ (нужно ли нам соответствовать $r$ используя прошлые наборы данных)?

3. Зависит ли $r$ от числа событий, которые мы ожидаем произойти во время данного процесса?

---

Дополнение к извлечению оценок для $r$ (и $p$ ):

Мне известно, что если бы у нас на самом деле была эта проблема, и у нас было число событий для каждого процесса, мы могли бы принять оценку максимального правдоподобия для и . Конечно, максимальная оценка правдоподобия существует только для выборок, для которых выборочная дисперсия больше среднего значения выборки, но если бы это было так, мы могли бы установить функцию вероятности для независимых идентично распределенных наблюдений as: из которого мы можем записать логарифмическую функцию правдоподобия как: р Н к 1 , к 2 , ... , K N L ( г , р ) = N П я = 1 P ( K я ; г , р ) , л ( г , р ) = Н Е я = 1 LN ( Г ( k i + r ) ) - N ∑$r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ rp ∂ r l ( r , p $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Чтобы найти максимум, мы берем частные производные по и и устанавливаем их равными нулю: Установка и настройка находим: $r$$p$∂гл(г,р)=∂рл(г,р)=0р= N Σ я = 1 K $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$∂гл(г,р)=НЕя=1ψ(KI+р)-Ni |(р)+NLN($p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$r $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Это уравнение не может быть решено для r в замкнутой форме с использованием Ньютона или даже EM. Однако в этой ситуации это не так. Хотя мы могли бы использовать прошлые данные для получения статических и это на самом деле бесполезно для нашего процесса, нам нужно адаптировать эти параметры во времени, как мы это делали с помощью Пуассона. $r$$p$

Отрицательное биномиальное распределение очень похоже на модель биномиальной вероятности. это применимо, когда следующие предположения (условия) остаются в силе 1) Любой эксперимент проводится при тех же условиях, пока не будет достигнуто фиксированное количество успехов, скажем, C 2) Результат каждого эксперимента можно классифицировать в одну из двух категорий , успех или неудача 3) Вероятность P успеха одинакова для каждого эксперимента. Каждый эксперимент не зависит от всех остальных. Первое условие является единственным ключевым дифференцирующим фактором между биномиальным и отрицательным биномиальным

Распределение Пуассона может быть разумным приближением бинома при определенных условиях, таких как 1) Вероятность успеха для каждого испытания очень мала. P -> 0 2) np = m (скажем) отлично. Правило, наиболее часто используемое статистиками, состоит в том, что пуассон является хорошим приближением бинома, когда n равно или больше 20, а p равно или меньше 5 %