Пуассон или квази пуассон в регрессии с данными подсчета и избыточной дисперсией?

У меня есть данные подсчета (анализ спроса / предложения с подсчетом количества клиентов, в зависимости от - возможно - многих факторов). Я пробовал линейную регрессию с нормальными ошибками, но мой QQ-график не очень хорош. Я попробовал лог-преобразование ответа: еще раз плохой QQ-сюжет.

Итак, сейчас я пытаюсь регрессии с пуассоновскими ошибками. С моделью со всеми значимыми переменными я получаю:

Null deviance: 12593.2  on 53  degrees of freedom
Residual deviance:  1161.3  on 37  degrees of freedom
AIC: 1573.7

Number of Fisher Scoring iterations: 5

Остаточное отклонение больше, чем остаточные степени свободы: у меня избыточная дисперсия.

Как я могу узнать, нужно ли мне использовать квазипуассон? Какова цель квазипуассона в этом случае? Я прочитал этот совет в «Книге R» Кроули, но не вижу смысла и значительного улучшения в моем случае.

При попытке определить, какого рода уравнение glm вы хотите оценить, вы должны подумать о вероятных отношениях между ожидаемым значением вашей целевой переменной, заданным для переменных правой части (rhs), и дисперсией целевой переменной, заданной для переменных rhs. Графики невязок и подгонянные значения из вашей нормальной модели могут помочь в этом. При регрессии Пуассона предполагаемое соотношение состоит в том, что дисперсия равна ожидаемой величине; довольно ограничительный, я думаю, вы согласитесь. При «стандартной» линейной регрессии предполагается, что дисперсия постоянна независимо от ожидаемого значения. Для квазипуассоновской регрессии предполагается, что дисперсия является линейной функцией среднего значения; для отрицательной биномиальной регрессии - квадратичная функция.

Тем не менее, вы не ограничены этими отношениями. Спецификация «семейства» (кроме «квази») определяет отношение средней дисперсии. У меня нет The R Book, но я предполагаю, что в ней есть таблица, которая показывает семейные функции и соответствующие отношения средней дисперсии. Для семейства «квази» вы можете указать любое из нескольких отношений средней дисперсии и даже написать свое; см документации R . Может случиться так, что вы можете найти гораздо лучшее соответствие, указав значение не по умолчанию для функции средней дисперсии в «квази» модели.

Вы также должны обратить внимание на диапазон целевой переменной; в вашем случае это неотрицательные данные подсчета. Если у вас есть значительная доля низких значений - 0, 1, 2 - непрерывные распределения, вероятно, не подойдут хорошо, но если вы этого не сделаете, использование дискретного распределения не имеет особой ценности. Редко когда вы рассматриваете распределения Пуассона и Нормала как конкурентов.

Вы правы, эти данные могут быть слишком разбросаны. Квазипуассон - это лекарство: он также оценивает масштабный параметр (который фиксирован для пуассоновых моделей, поскольку дисперсия также является средним) и обеспечит лучшее соответствие. Тем не менее, это больше не максимальная вероятность того, что вы делаете, и некоторые модельные тесты и индексы не могут быть использованы. Хорошее обсуждение можно найти в «Venables» и «Ripley», «Современная прикладная статистика с S» (раздел 7.5) .

Альтернативой является использование отрицательной биномиальной модели, например, glm.nb()функции в пакете MASS.