Общие теоремы для непротиворечивости и асимптотической нормальности максимального правдоподобия

10

Я заинтересован в хорошей ссылке на результаты, касающиеся асимптотических свойств оценок максимального правдоподобия. Рассмотрим модель где - это мерная плотность, а - это MLE, основанный на образце из где - это "истинное" значение . Есть два нарушения, которые меня интересуют.{fn(θ):θΘ,nN}fn(xθ)nθ^nX1,,Xnfn(θ0)θ0θ

  1. Данные не являются iid, и в результате информация Фишера о накапливается со скоростью, меньшей чем .X1,,Xnθn
  2. Θ - ограниченное множество, и с положительной вероятностью лежит на границе. Граница соответствует «более простой» модели, и поэтому существует особый интерес к лежит ли на границе.θ^nθ0

Мои конкретные вопросы

  1. Обозначение обозначает наблюдаемую информацию Фишера, соответствующую , и предположим, что находится внутри . При каких условиях асимптотически нормально при ? В частности, похожи ли условия регулярности на обычные, с соответствующей модификацией в некотором смысле ?Jn(θ)θθ0Θ

    [Jn(θ^n)]1/2(θ^nθ0)
    nJn(θ^n)
  2. Предположим вместо этого, что находится на границе, и снова напомним, что происходит с положительной вероятностью - для конкретности, в модели смешанных эффектов у нас может быть . При каких условиях (почти наверняка или по вероятности) и при каких условиях в конечном итоге (это, вероятно, не работает для модели смешанных эффектов, но соответствует свойствам "оракула" для LASSO и связанные оценки, так что, может быть, это слишком много, чтобы просить общих результатов)?θ0θ^n=θ0Yij=μ+βi+ϵijσ^β2=0θ^nθ0θ^n=θ0

Опять же, просто указатель на текст с результатами на этом уровне общности будет принята с благодарностью.

парень
источник

Ответы:

7

Рекомендации, которые вы можете начать с:

Для случая, когда истинный параметр лежит на границе :
Моран (1971) «Оценка максимального правдоподобия в нестандартных условиях»

Стивен Г. Селф и Кунг-Йи Лян (1987) "Асимптотические свойства оценок максимального правдоподобия и тестов отношения правдоподобия в нестандартных условиях"

Зидинг Фенг и Чарльз МакКаллох (1990) «Статистический вывод с использованием оценки максимального правдоподобия и обобщенного отношения правдоподобия, когда истинный параметр находится на границе пространства параметров»

Для неидентичных, но независимых rv :
Bruce Hoadley (1971) «Асимптотические свойства оценок максимального правдоподобия для независимого неидентично распределенного случая»

Для зависимых сторон:
Мартин Дж. Краудер (1976) «Оценка максимального правдоподобия для зависимых наблюдений»

Также

Huber, PJ (1967). «Поведение оценок максимального правдоподобия в нестандартных условиях» . В материалах пятого симпозиума в Беркли по математической статистике и вероятности (т. 1, № 1, с. 221-233).

Обновление 17-03-2017: как предлагается в комментарии, на следующий документ можно сослаться здесь

Andrews, DW (1987). Согласованность в нелинейных эконометрических моделях: общий равномерный закон больших чисел. Эконометрика: журнал Эконометрического общества, 1465-1471.

Алекос Пападопулос
источник
Посмотрите обсуждение здесь: andrewgelman.com/2012/07/05/…
kjetil b halvorsen
1
(+1) Я хорошо использовал эти ссылки. Может быть полезно включить также Andrews, 1987 ( jstor.org/stable/1913568 ). В частности, он «... указывает на то, что часто используемая унифицированная LLN, согласно Хоадли (1971, теорема А.5), применима только к ограниченным случайным величинам».
ekvall