Я заинтересован в хорошей ссылке на результаты, касающиеся асимптотических свойств оценок максимального правдоподобия. Рассмотрим модель где - это мерная плотность, а - это MLE, основанный на образце из где - это "истинное" значение . Есть два нарушения, которые меня интересуют.
- Данные не являются iid, и в результате информация Фишера о накапливается со скоростью, меньшей чем .
- - ограниченное множество, и с положительной вероятностью лежит на границе. Граница соответствует «более простой» модели, и поэтому существует особый интерес к лежит ли на границе.
Мои конкретные вопросы
Обозначение обозначает наблюдаемую информацию Фишера, соответствующую , и предположим, что находится внутри . При каких условиях асимптотически нормально при ? В частности, похожи ли условия регулярности на обычные, с соответствующей модификацией в некотором смысле ?
Предположим вместо этого, что находится на границе, и снова напомним, что происходит с положительной вероятностью - для конкретности, в модели смешанных эффектов у нас может быть . При каких условиях (почти наверняка или по вероятности) и при каких условиях в конечном итоге (это, вероятно, не работает для модели смешанных эффектов, но соответствует свойствам "оракула" для LASSO и связанные оценки, так что, может быть, это слишком много, чтобы просить общих результатов)?
Опять же, просто указатель на текст с результатами на этом уровне общности будет принята с благодарностью.
источник
Ответы:
Рекомендации, которые вы можете начать с:
Для случая, когда истинный параметр лежит на границе :
Моран (1971) «Оценка максимального правдоподобия в нестандартных условиях»
Стивен Г. Селф и Кунг-Йи Лян (1987) "Асимптотические свойства оценок максимального правдоподобия и тестов отношения правдоподобия в нестандартных условиях"
Зидинг Фенг и Чарльз МакКаллох (1990) «Статистический вывод с использованием оценки максимального правдоподобия и обобщенного отношения правдоподобия, когда истинный параметр находится на границе пространства параметров»
Для неидентичных, но независимых rv :
Bruce Hoadley (1971) «Асимптотические свойства оценок максимального правдоподобия для независимого неидентично распределенного случая»
Для зависимых сторон:
Мартин Дж. Краудер (1976) «Оценка максимального правдоподобия для зависимых наблюдений»
Также
Huber, PJ (1967). «Поведение оценок максимального правдоподобия в нестандартных условиях» . В материалах пятого симпозиума в Беркли по математической статистике и вероятности (т. 1, № 1, с. 221-233).
Обновление 17-03-2017: как предлагается в комментарии, на следующий документ можно сослаться здесь
Andrews, DW (1987). Согласованность в нелинейных эконометрических моделях: общий равномерный закон больших чисел. Эконометрика: журнал Эконометрического общества, 1465-1471.
источник