Каковы условия регулярности для теста отношения правдоподобия?

Может ли кто-нибудь сказать мне, каковы условия регулярности для асимптотического распределения теста отношения правдоподобия?

Куда бы я ни посмотрел, везде написано «В условиях регулярности» или «В вероятностных закономерностях». Какие именно условия? Что существуют первая и вторая логарифмические производные правдоподобия, а информационная матрица не равна нулю? Или что-то еще целиком?

maximum-likelihood likelihood-ratio asymptotics Kingstat
источник

Требуемые условия регулярности перечислены в большинстве промежуточных учебников и не отличаются от таковых в mle. Следующие из них относятся к случаю с одним параметром, но их расширение до многопараметрического варианта является простым.

Условие 1 : PDF-файлы различны, то есть $\theta \neq \theta ^{\prime} \Rightarrow f(x_i;\theta)\neq f(x_i;\theta ^{\prime})$

Обратите внимание, что это условие по существу утверждает, что параметр идентифицирует PDF.

Условие 2: PDF-файлы имеют общую поддержку для всех $\theta$

Это означает, что поддержка не зависит от $\theta$

Условие 3 : точка , реальный параметр, который является внутренней точкой в некотором наборе $\theta_0$ $\Omega$

Последнее касается возможности появления в конечных точках интервала. $\theta$

Эти три в совокупности гарантируют, что вероятность максимизируется при истинном параметре а затем, что mle который решает уравнение $\theta_0$ $\hat{\theta}$

\frac{\partial l (θ)}{\partial θ} = 0

$\frac{\partial l(\theta)} {\partial \theta}=0$

согласуется.

Условие 4 : pdf дважды дифференцируется как функция от $f(x;\theta)$ $\theta$

Условие 5 : интеграл можно дважды дифференцировать под знаком интеграла как функцию от $\int_{-\infty}^{\infty} f(x;\theta)\ \mathrm dx$ $\theta$

Нам нужны последние два, чтобы получить информацию о Фишере, которая играет центральную роль в теории сходимости mle.

Для некоторых авторов этого достаточно, но если мы хотим быть тщательными, нам дополнительно необходимо заключительное условие, которое обеспечивает асимптотическую нормальность mle.

Условие 6 : pdf дифференцируется в три раза как функция от . Кроме того, для всех существуют константа и функция такие что $f(x;\theta)$ $\theta$ $\theta \in \Omega$ $c$ $M(x)$

| \frac{\partial^{3} l o g f (x; θ)}{\partial θ^{3}} | \leq M (x)

$\left| \frac{\partial^3 log f(x;\theta)}{\partial \theta^3} \right| \leq M(x)$

с для всех и всех в поддержке $E_{\theta_0} \left[M(X)\right] <\infty$ $|\theta-\theta_0|<c$ $x$ $X$

По существу, последнее условие позволяет нам сделать вывод, что остаток от разложения Тейлора второго порядка относительно ограничен по вероятности и, таким образом, не создает проблемы асимптотически. $\theta_0$

Это то, что вы имели в виду?

JohnK
источник

Спасибо. Но вы уверены, что условия регулярности, связанные с доказательством того, что -2log (lambda) следует за квадратом хи с df 1, одинаковы?

Кингстат

@ Кингстат Да. Эти условия взяты из «Введение в математическую статистику» Хогга и Крейга и гарантируют, что в это ,

H_{0}

$H_0$

θ = θ_{0}

$\theta=\theta_0$

- 2 \log Λ \to^{D} χ^{2} (1)

$-2\log\Lambda \to^D \chi^2 (1)$

JohnK

Не могли бы вы также сказать мне, как для плотности N (θ, 1) критерий Рао по шкале эквивалентен критерию UMPU?

Кингстат

@ Kingstat Что означает UMPU?

JohnK

Равномерно самый мощный, непредвзятый.

Кингстат

Каковы условия регулярности для теста отношения правдоподобия?

Ответы: