Для каких моделей смещение MLE падает быстрее, чем дисперсия?

Пусть будет оценка максимального правдоподобия истинного параметра некоторой модели. По мере увеличения числа точек данных ошибка обычно уменьшается как . Используя неравенство треугольника и свойства ожидания, можно показать, что этот коэффициент ошибок подразумевает, что оба «смещения» и «отклонение» уменьшается при том же $\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$ темп. Конечно, модели могут иметь смещение, которое сокращается с большей скоростью. Многие модели (например, регрессия по методу наименьших квадратов) не имеют смещения.

Мне интересны модели, которые имеют смещение, которое уменьшается быстрее, чем , но где ошибка не уменьшается с этой более высокой скоростью, потому что отклонение все еще уменьшается как . В частности, я хотел бы знать достаточные условия для смещения модели со скоростью . $O(1/\sqrt n)$ $O(1/\sqrt n)$ $O(1/n)$

variance estimation maximum-likelihood bias Майк Избицкий
источник

Имеет ли ? Или?

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$

Алекос Пападопулос

Я специально спрашивал о норме L2, да. Но я также был бы заинтересован в других нормах, если это облегчает вопрос.

Майк

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ - это .

O_{p} (1 / n)

$O_p(1/n)$

Алекос Пападопулос

Извините, я неправильно прочитал ваш комментарий. Для нормы L2 в измерениях, , поэтому сходимость происходит за счет . Я согласен, что если бы мы возвели в квадрат это тогда, это сходилось бы как .

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

Майк

Вы видели регрессионный документ (Hoerl & Kennard 1970)? Я считаю, что это дает условия на матрицу дизайна + штраф, где это, как ожидается, будет правдой.

DCL

Ответы:

В общем, вам нужны модели, в которых MLE не асимптотически нормален, а сходится к некоторому другому распределению (и делает это с большей скоростью). Это обычно происходит, когда оцениваемый параметр находится на границе пространства параметров. Интуитивно это означает, что MLE будет приближаться к параметру «только с одной стороны», поэтому он «улучшает скорость сходимости», поскольку он не «отвлекается», обходя «назад и вперед» вокруг параметра.

Стандартным примером является MLE для $\theta$ в выборке iid из $U(0,\theta)$ равномерных rv. Здесь MLE - это статистика максимального порядка,

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Его конечное распределение выборки

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Таким образом , . Но такая же повышенная ставка будет сохраняться и для дисперсии. $B(\hat \theta_n) = O(1/n)$

Можно также проверить , что для получения предельного распределения, мы должны смотреть на переменную , (т.е. мы должны масштабе ) , так как $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

который является CDF экспоненциального распределения.

Я надеюсь, что это дает некоторое направление.

Алекос Пападопулос
источник

Это близко, но меня особенно интересуют ситуации, когда смещение уменьшается быстрее, чем дисперсия.

Майк

@MikeIzbicki Hmm... the bias convergence depends on the first moment of the distribution, and the (square root of the) variance is also a "first-order" magnitude. I am not sure then that this is possible to happen, because it appears that it would imply that the moments of the limiting distribution "arise" at convergence rates that are not compatible with each other... I' ll think about it though.

Alecos Papadopoulos

Following comments in my other answer (and looking again at the title of the OP's question!), here is an not very rigorous theoretical exploration of the issue.

We want to determine whether Bias $B(\hat \theta_n) = E(\hat \theta_n) - \theta$ may have different convergence rate than the square root of the Variance,

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

We have

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

while

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

We see that $(2)$ may hold happen if

A) both components are $O(1/n^{2\gamma})$ , in which case we can only have $\gamma = \delta$ .

B) But it may also hold if

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

For $(3)$ to be compatible with $(1)$ , we must have

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

So it appears that in principle it is possible to have the Bias converging at a faster rate than the square root of the variance. But we cannot have the square root of the variance converging at a faster rate than the Bias.

Alecos Papadopoulos
источник

How would you reconcile this with the existence of unbiased estimators like ordinary least squares? In that case,

B (\hat{θ}) = 0

$B(\hat\theta)=0$ , but

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$ .

Mike Izbicki

@MikeIzbicki Is the concept of convergence/big-O applicable in this case? Because here

B (\hat{θ})

$B(\hat \theta)$ is not "

O ()

$O()$ -anything" to begin with.

Alecos Papadopoulos

In this case,

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$ , so

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$ .

Mike Izbicki

@MikeIzbicki But also

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$ or

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$ or any other you care to write down. So which one is the rate of convergence here?

Alecos Papadopoulos

@MikeIzbicki I have corrected my answer to show that it is possible in principle to have the Bias converging faster, although I still think the "zero-bias" example is problematic.

Alecos Papadopoulos