Мера «отклонения» для Пуассона с нулевым надуванием или отрицательного бинома с нулевым надуванием?

Масштабное отклонение, определяемое как D = 2 * (логарифмическая вероятность насыщенной модели минус логарифмическая вероятность подобранной модели), часто используется как мера соответствия модели в модели GLM. Объясненное отклонение в процентах, определенное как [D (нулевая модель) - D (подходящая модель)] / D (нулевая модель), также иногда используется в качестве аналога GLM для R-квадрата линейной регрессии. Помимо того, что дистрибутивы ZIP и ZINB не входят в экспоненциальное семейство дистрибутивов, у меня возникают проблемы с пониманием того, почему объясненное масштабированное отклонение и процентное отклонение не используются в моделировании с нулевым раздуванием. Может кто-нибудь пролить свет на это или предоставить полезные ссылки? Заранее спасибо!

Отклонение является концепцией GLM, модели ZIP и ZINB не являются glms, а сформулированы как конечные смеси распределений, которые являются GLM и поэтому могут быть легко решены с помощью EM-алгоритма.

Эти заметки кратко описывают теорию отклонений. Если вы прочитаете эти заметки, вы увидите доказательство того, что насыщенная модель регрессии Пуассона имеет логарифмическую вероятность

$$\ell(\lambda_s)= \sum_{i=1, \forall y_i\neq 0}^n \left[ y_ilog(y_i)-y_i -log(y_i!)\right]$$

что вытекает из оценки плагина .$y_i =\hat{\lambda}_i$

Сейчас я перейду к вероятности ZIP, потому что математика проще, аналогичные результаты верны для ZINB. К сожалению для ZIP, нет простых отношений, как в Пуассоне. В - й наблюдения лог-правдоподобия$i$

$$\ell_i(\phi, \lambda)=Z_ilog(\phi+(1-\phi)e^{-\lambda})+ (1-Z_i)\left[-\lambda +y_ilog(\lambda) -log(y_i!)\right].$$

не наблюдается , так , чтобы решить это , вы должны были бы взять частные производные WRT как и , установить уравнения 0 , а затем решить для и . Трудность здесь в том, что значения , они могут входить в или в и это невозможно без наблюдения которое можно поместить наблюдения . Однако, если бы мы знали значение нам не понадобилась бы модель ZIP, потому что у нас не было бы отсутствующих данных. Наблюдаемые данные соответствуют вероятности «полных данных» в формализме ЭМ.$Z_i$$\lambda$$\phi$$\lambda$$\phi$$y_i=0$$\hat{\lambda}$$\hat{\phi}$$Z_i$$y_i=0$$Z_i$

Один подход, который может быть разумным, - это работать с ожиданием относительно полного правдоподобия журнала данных, которое удаляет и заменяет ожидание, это часть того, что вычисляет алгоритм EM (шаг E) с самыми последними обновлениями. Я не знаю ни одной литературы, которая изучала этот подход к отклонению, хотя.$Z_i$$\mathbb{E}(\ell_i(\phi, \lambda))$$Z_i$$expected$

Кроме того, этот вопрос был задан первым, поэтому я ответил на этот пост. Тем не менее, есть еще один вопрос на ту же тему с хорошим комментарием Гордона Смита здесь: отклонение для модели с нулевым раздувом составного пуассона, непрерывные данные (R), где он упомянул тот же ответ (это развитие этого комментария скажем) плюс они упомянули в комментариях к другому посту статью, которую вы можете прочитать. (отказ от ответственности, я не читал упомянутую статью)