Каковы некоторые иллюстративные применения эмпирической вероятности?

28

Я слышал об эмпирической вероятности Оуэна, но до недавнего времени не обращал на это внимания, пока не наткнулся на интересную статью ( Mengersen et al. 2012 ).

В моих попытках понять это я выяснил, что вероятность наблюдаемых данных представляется в виде

Lзнак равноΠяпязнак равноΠяп(Иксязнак равноИкс)знак равноΠяп(ИксяИкс)-п(Икся<Икс)
, где и .р я > 0Σяпязнак равно1пя>0

Однако мне не удалось совершить мысленный скачок, связывающий это представление с тем, как его можно использовать для заключения о наблюдениях. Возможно, я слишком укоренен в мысли о вероятности относительно параметров модели?

Несмотря на это, я искал в Google Scholar некоторую бумагу, использующую эмпирическую вероятность, которая помогла бы мне усвоить концепцию ... безрезультатно. Очевидно, что есть книга Арт Оуэна об Эмпирическом правдоподобии , но в Google Книгах пропущены все вкуснятины, и я все еще нахожусь в медленном процессе получения межбиблиотечного кредита.

В то же время, может ли кто-нибудь любезно указать мне на документы и документы, которые ясно иллюстрируют предпосылку эмпирической вероятности и как она используется? Иллюстративное описание самого EL также приветствуется!

Самир
источник
2
Эконометрики, в частности, влюбились в ЭЛ. Если вы ищете приложения , эта литература может быть одним из лучших мест для поиска.
кардинал

Ответы:

17

Я не могу придумать лучшего места, чем книга Оуэна, чтобы узнать об эмпирической вероятности.

Один практический способ думать о - это вероятность многочленного распределения по наблюдаемым точкам данных x 1 , , x n . Таким образом, вероятность является функцией вектора вероятности ( p 1 , , p n ) , пространство параметров на самом деле является n- мерным симплексом векторов вероятности, и MLE помещает вес 1 / n.Lзнак равноL(п1,...,пN)Икс1,...,ИксN(п1,...,пN)N1/Nна каждом из наблюдений (предположим, что они все разные). Размерность пространства параметров увеличивается с увеличением количества наблюдений.

Центральным моментом является то, что эмпирическое правдоподобие дает метод для вычисления доверительных интервалов путем профилирования без указания параметрической модели. Если интересующим параметром является среднее значение, , то для любого вектора вероятности p = ( p 1 , , p n ) мы имеем среднее значение μ ( p ) = n i = 1 x i p i , и мы может вычислить вероятность профиля как L prof ( μ ) = maxμпзнак равно(п1,...,пN)

μ(п)знак равноΣязнак равно1NИксяпя,
Тогда мы можем вычислить доверительные интервалы вида I r = { μ L prof ( μ ) r L prof ( ˉ x ) } с r ( 0 , 1 ) . Здесь ˉ x - эмпирическое среднее, а L prof ( ˉ x ) =
Lпрофессор(μ)знак равноМаксимум{L(п)|μ(п)знак равноμ},
ярзнак равно{μ|Lпрофессор(μ)рLпрофессор(Икс¯)}
р(0,1)Икс¯ . Интервалы I r, возможно, следует просто называть (профильными) интервалами правдоподобия, поскольку никаких заявлений об охвате не делается заранее. С уменьшением r интервалы I r (да, это интервалы) образуют вложенное, увеличивающееся семейство доверительных интервалов. Скажем, асимптотическую теорию или бутстрап можно использовать для калибровки r для достижения охвата 95%.Lпрофессор(Икс¯)знак равноN-Nяррярр

Книга Оуэна подробно описывает это и предоставляет расширения для более сложных статистических задач и других представляющих интерес параметров.

NRH
источник
4
(+1) Не имея доступа к книге, всегда можно начать с оригинальных статей, чтобы получить основы теории. Как и в книге, документы также довольно четко написаны.
кардинал
6
Некоторые ссылки: ( 1 ) A. Owen (1988), Эмпирические доверительные интервалы отношения правдоподобия для одного функционала , Biometrika , vol. 75, No. 2, pp. 237-249, ( 2 ) A. Owen (1990), Эмпирическое доверительное отношение вероятности , Ann. Statist. том 18, нет 1, с. 90-120 ( открытый доступ ) и ( 3 ) А. Оуэн (1991). Эмпирическая вероятность линейных моделей , Ann. Statist. том 19, нет. 4, с. 1725-1747 ( открытый доступ ).
кардинал
@ Cardinal Фантастический! Должен был подумать об этом сам.
Самир
@NHS Спасибо за ваше объяснение! Просто чтобы быть ясно, является г г м х WRT р «ы? Кроме того, можете ли вы объяснить, почему L p r o f ( ˉ x ) = n n ? Должно ли это быть i n - 1 = n - n ? Lпрое(μ)aргмaИкспLпрое(Икс¯)знак равноNNΠяN-1знак равноN-N
Самер
@Sameer, опечатка исправлена. Однако это не argmax. Это вероятность профиля, полученная путем максимизации вероятности по всем векторам параметров с заданным значением . Кстати, при подходящем поступлении в университет я получил электронную версию CRC отдельных глав книги Оуэна. μ
NRH
15

E[g(X,θ)]=0
XgqθΘRpqpgθ

θ

θ^GMM=argminθΘg¯n(θ)Wg¯n(θ)
W
g¯n(θ):=1ni=1ng(Xi,θ).
θ
L(θ)=maxp1,,pni=1npi
i=1npi=1,pi0,i=1npig(Xi,θ)=0.
θ
θ^EL=argmaxθΘlogL(θ).

Конечно, есть много других причин, по которым EL привлекла внимание эконометрикой, но я надеюсь, что это полезная отправная точка. Модели равенства моментов очень распространены в эмпирической экономике.

Aelmore
источник
Спасибо за то, что написали такой четкий, хороший ответ. Добро пожаловать в наше сообщество!
whuber
7

S(t)=Pr(T>t)TS^

ocram
источник