Интересно, всегда ли есть максимизатор для какой-либо задачи оценки максимального (логарифмического) правдоподобия? Другими словами, есть ли какое-то распределение и некоторые его параметры, для которых у проблемы MLE нет максимизатора?
Мой вопрос исходит от утверждения инженера о том, что функция стоимости (вероятность или логарифмическая вероятность, я не уверен, что предполагалось) в MLE всегда вогнута и поэтому всегда имеет максимизатор.
Спасибо и всего наилучшего!
Ответы:
Возможно, инженер имел в виду канонические экспоненциальные семейства: в их естественной параметризации пространство параметров является выпуклым, а логарифмическое правдоподобие вогнутым (см. Thm 1.6.3 в « Математической статистике Биккеля и Доксума» , том 1 ). Кроме того, при некоторых мягких технических условиях (в основном, что модель имеет «полный ранг» или, что то же самое, что естественный параметр идентифицируемый), функция логарифмического правдоподобия является строго вогнутой, что подразумевает, что существует уникальный максимизатор. (Следствие 1.6.2 в той же ссылке.) [Кроме того, лекционные заметки, цитируемые @biostat, указывают на то же.]
Обратите внимание, что естественная параметризация канонического экспоненциального семейства обычно отличается от стандартной параметризации. Таким образом, хотя @cardinal указывает, что логарифмическая вероятность для семейства не является выпуклой в σ 2 , она будет вогнутой по естественным параметрам: η 1 = μ / σ 2 и η 2 = - 1 / σ 2 .N( μ , σ2) σ2 η1= μ / σ2 η2= - 1 / σ2
источник
Функция правдоподобия часто достигает максимума для оценки параметра интереса. Тем не менее, иногда MLE не существует, например, для распределения гауссовой смеси или непараметрических функций, которые имеют более одного пика (двух- или многомодальное). Я часто сталкиваюсь с проблемой оценки популяционной генетики неизвестных параметров, т. Е. Скорости рекомбинации, эффекта естественного отбора.
Одной из причин @cardinal также является неограниченное параметрическое пространство.
Более того, я бы порекомендовал следующую статью , см. Раздел 3 (для функции) и рис.3. Тем не менее, есть довольно полезная и удобная информация о документе MLE.
источник
Я признаю, что могу что-то упустить, но -
Если это проблема оценки, и цель состоит в том, чтобы оценить неизвестный параметр, и параметр, как известно, происходит из некоторого замкнутого и ограниченного множества, и функция правдоподобия является непрерывной, то для этого параметра должно существовать значение, которое максимизирует функция правдоподобия. Другими словами, максимум должен существовать. (Он не должен быть уникальным, но должен существовать хотя бы один максимум. Нет гарантии, что все локальные максимумы будут глобальными максимумами, но это не является обязательным условием существования максимума.)
Я не знаю, должна ли функция правдоподобия всегда быть выпуклой, но это не является обязательным условием существования максимума.
Если бы я что-то упустил, я бы хотел услышать, что мне не хватает.
источник
Возможно, кто-то найдет следующий простой пример полезным.
источник