Это обычное утверждение об экспоненциальной семье, но, по моему мнению, в большинстве случаев оно сформулировано таким образом, что может смутить менее опытного читателя. Потому что, взятый по номиналу, это можно интерпретировать как выражение «если наша случайная переменная следует распределению в семействе экспонент, то если мы возьмем выборку и вставим ее в достаточную статистику, мы получим истинное ожидаемое значение статистики ». Если бы это было так ... Более того, в нем не учитывается размер выборки, что может вызвать дальнейшую путаницу.
Экспоненциальная функция плотности
еИкс( х ) = ч ( х ) еη( θ ) T( х )е- A ( θ )(1)
где - достаточная статистика.T( х )
Поскольку это плотность, она должна интегрироваться в единицу, поэтому ( является опорой X )SИксИкс
∫SИксч ( х ) еη( θ ) T( х )е- A ( θ )dх = 1(2)
Eq. выполняется для всех θ, поэтому мы можем дифференцировать обе стороны относительно него:( 2 )θ
∂∂θ∫SИксч ( х ) еη( θ ) T( х )е- A ( θ )dх = ∂( 1 )∂θ= 0(3)
Меняя порядок дифференцирования и интегрирования, получаем
∫SИкс∂∂θ( ч ( х ) еη( θ ) T( х )е- A ( θ )) гх = 0(4)
Проводя дифференцирование, мы имеем
∂∂θ( ч ( х ) еη( θ ) T( х )е- A ( θ )) = fИкс( х ) [ Т( х ) η'( θ ) - А'( θ ) ](5)
Вставляя в ( 4 ) получаем( 5 )( 4 )
∫SИксеИкс( х ) [ Т( х ) η'( θ ) - А'( θ ) ] dх = 0
⇒ η'( θ ) E[ T( Х) ] - A'( θ ) = 0 ⇒ E[ T( Х) ] = A'( θ )η'( θ )(6)
Теперь мы спрашиваем: левая часть является действительным числом. Таким образом, правая часть также должна быть действительным числом, а не функцией . Следовательно, он должен оцениваться при конкретном θ , и это должно быть «истинное» θ , иначе в левой части мы не получили бы истинное ожидаемое значение T ( X ) . Чтобы подчеркнуть это, мы обозначаем истинное значение через θ 0 и переписываем ( 6 ) как( 6 )θθT( Х)θ0( 6 )
Еθ0[ T( Х) ] = A'( θ )η'( θ )||θ = θ0(6а)
Теперь перейдем к оценке максимального правдоподобия . Логарифмическая вероятность для выборки размера равнаN
L ( θ ∣ x ) = ∑я = 1Nперч ( хя) + η( θ ) ∑я = 1NT( хя) - n A ( θ )
Полагая его производную по равной 0, получим MLEθ0
θ^( х ) : 1NΣя = 1NT( хя) = A'( θ )η'( θ )||θ = θ^( х )(7)
Сравните с ( 6 а ) . Правые части не равны, так как мы не можем утверждать, что оценщик MLE достиг истинного значения. Так что ни левые стороны. Но помните, что уравнение 2 справедливо для всех & thetas и поэтому для & thetas также. Таким образом, шаги в уравнении 3 , 4 , 5 , 6 могут быть приняты по отношению к & thetas ; и таким образом , мы можем написать экв. 6 для & thetas :( 7 )( 6 а )2 θθ^3 , 4 , 5 , 6θ^6 аθ^
Еθ^( х )[ T( Х) ] = A'( θ )η'( θ )||θ = θ^( х )(6b)
что в сочетании с приводит нас к верному соотношению( 7 )
Еθ^( х )[ T( Х) ] = 1NΣя = 1NT( хя)
θ^( х )θИкс
n = 1