Связь между гессенской матрицей и ковариационной матрицей

Пока я изучаю оценку максимального правдоподобия, чтобы сделать вывод в оценке максимального правдоподобия, нам нужно знать дисперсию. Чтобы выяснить разницу, мне нужно знать нижнюю границу Рао Крамера, которая выглядит как гессианская матрица со вторым производным по кривизне. Я вроде как перепутал, чтобы определить связь между ковариационной матрицей и гессианской матрицей. Надеюсь услышать некоторые объяснения по этому вопросу. Простой пример будет оценен.

Сначала вы должны проверить этот базовый вопрос о информационной матрице Фишера и связи с гессенскими и стандартными ошибками.

Предположим, у нас есть статистическая модель (семейство распределений) . В наиболее общем случае мы имеем д я м ( & thetas ; ) = d , так что это семейство параметризовано θ = ( θ 1 , ... , θ d ) Т . При определенных условиях регулярности мы имеем$\{f_{\theta}: \theta \in \Theta\}$$dim(\Theta) = d$$\theta = (\theta_1, \dots, \theta_d)^T$

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

где - информационная матрица Фишера (как функция от θ ), а X - наблюдаемое значение (образец)$I_{i,j}$$\theta$$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

Таким образом, информационная матрица Фишера представляет собой отрицательное ожидаемое значение гесиана логарифмической вероятности при некотором $\theta$

Теперь предположим, что мы хотим оценить некоторую векторную функцию неизвестного параметра . Обычно желательно, чтобы оценка T ( X ) = ( T 1 ( X ) , … , T d ( X ) ) была несмещенной, т.е.$\psi(\theta)$$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

Крамер Рао нижняя грань гласит , что для каждого несмещенной в с õ v & thetas ( T ( X ) ) удовлетворяет$T(X)$$cov_{\theta}(T(X))$

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

где для матриц означает, что A - B является положительно-полуопределенным , ∂ ψ ( θ $A \ge B$$A - B$ - просто якобианJi,j(ψ). Обратите внимание, что если мы оценимθ, то естьψ(θ)=θ, то выше упрощается$\frac{\partial\psi(\theta)}{\partial\theta}$$J_{i,j}(\psi)$$\theta$$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

Но что это говорит нам на самом деле? Например, напомним, что

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

$A$

$$\forall_i\ A_{i,i} \ge 0$$

$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

Таким образом, CRLB не говорит нам дисперсию нашей оценки, но является ли наша оценка оптимальной или нет , т.е. имеет ли она наименьшую ковариацию среди всех несмещенных оценок.