Невозможная проблема оценки?

17

Вопрос

Дисперсия отрицательного биномиального (NB) распределения всегда больше его среднего значения. Когда среднее значение выборки превышает ее дисперсию, попытка подобрать параметры NB с максимальной вероятностью или с оценкой момента не удастся (решения с конечными параметрами не существует).

Однако возможно, что выборка, взятая из распределения NB, имеет среднее значение, превышающее дисперсию. Вот воспроизводимый пример в R.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Существует ненулевая вероятность того, что NB произведет выборку, для которой параметры не могут быть оценены (методами максимального правдоподобия и момента).

  1. Можно ли дать достойные оценки для этого образца?
  2. Что говорит теория оценки, когда оценки не определены для всех выборок?

Об ответе

Ответы @MarkRobinson и @Yves заставили меня понять, что параметризация является главной проблемой. Плотность вероятности НБ обычно записывается как

или как P(X=k)=Γ(r+k)

P(X=k)=Γ(r+k)Γ(r)k!(1p)rpk
P(X=k)=Γ(r+k)Γ(r)k!(rr+m)r(mr+m)k.

При первой параметризации оценка максимального правдоподобия равна всякий раз, когда дисперсия выборки меньше среднего, поэтому ничего полезного нельзя сказать о p . Под вторым это ( , ˉ x ) , поэтому мы можем дать разумную оценку m . Наконец, @MarkRobinson показывает, что мы можем решить проблему бесконечных значений, используя r(,0)p(,x¯)m вместор.r1+rr

В заключение, в этой проблеме оценки нет ничего принципиально неправильного, за исключением того, что вы не всегда можете дать значимые интерпретации и p для каждой выборки. Честно говоря, идеи присутствуют в обоих ответах. Я выбрал @MarkRobinson как правильный для дополнений, которые он дает.rp

gui11aume
источник
Неверно утверждать, что в таком случае максимальная вероятность не срабатывает. Только моментальные методы могут столкнуться с трудностями.
Сиань
@ Сиань Вы можете расширить? Вероятность этого образца не имеет максимума в области (также см это , например). Я что-то пропустил? В любом случае, если вы можете дать оценки ML параметров для этого случая, я обновлю вопрос. (0,)×(0,1)
gui11aume
1
Вероятность может иметь максимум на бесконечном расстоянии при и r . Аналогичная проблема, но с более простой диагностикой, относится к распределению Ломакса : известно, что оценка ML формы бесконечна, когда образец имеет коэффициент вариации CV < 1 . Тем не менее, вероятность этого события положительна для любого размера выборки и довольно велика, скажем, для α = 20 и n = 200 . p0rCV<1α=20n=200
Ив
@Yves Спасибо за этот другой пример (о котором я не знал). Что люди делают в этом случае?
gui11aume
2
В примере Lomax некоторые люди предпочли бы использовать экспоненциальное распределение, которое является пределом для и λ / α θ > 0 . Это сводится к принятию бесконечной оценки ML. Ради инвариантности путем повторной параметризации, я считаю, что бесконечные параметры могут иметь смысл в некоторых случаях. Для вашего примера NB то же самое происходит, если мы решили использовать распределение Пуассона, получающееся из r p / ( 1 - p ) λ . αλ/αθ>0rp/(1p)λ
Ив

Ответы:

11

введите описание изображения здесьПо сути, для вашего примера оценка параметра размера находится на границе пространства параметров. Можно также рассмотреть вопрос о репараметризации, такой как d = размер / (размер + 1); когда размер = 0, d = 0, когда размер стремится к бесконечности, d приближается к 1. Оказывается, что для заданных вами параметров настройки оценки размера бесконечности (d, близкие к 1) происходят примерно в 13% времени для Оценки скорректированного профиля (APL) Кокса-Рейда, которые являются альтернативой оценкам MLE для NB (пример показан здесь) . Оценки среднего параметра (или «вероятности»), кажется, в порядке (см. Рисунок, синие линии - истинные значения, красная точка - оценка для вашего семени = 167 выборок). Более подробная информация о теории APL здесь .

Итак, я бы сказал, что 1 .: Оценки приличного параметра могут быть получены .. размер = бесконечность или дисперсия = 0 является разумной оценкой, учитывая выборку. Рассмотрим другое пространство параметров, и оценки будут конечными.

Марк Робинсон
источник
Спасибо, что присоединились к сайту, чтобы ответить на мой вопрос! Детализация скорректированного профиля Cox-Reid с вероятностью выглядит очень многообещающе.
gui11aume
8

п0рΘзнак равно(0,1)×(0,)λ>0[п,р]Θп0ррп/(1-п)λ

резюме<1>0,3αзнак равно20Nзнак равно200

Свойства ML предназначены для большого размера выборки: в условиях регулярности показано, что оценка ML существует, является уникальной и имеет тенденцию к истинному параметру. Тем не менее, для данного конечного размера выборки оценка ML может не существовать в области, например, потому что максимум достигнут на границе. Он также может существовать в домене, который больше, чем тот, который используется для максимизации.

αλ/αθ>0GPD(σ,ξ)ξ>0ξ^<0ξ^=0

Ради инвариантности путем повторной параметризации, я считаю, что бесконечные параметры могут иметь смысл в некоторых случаях.

Ив
источник