Почему именно используется наблюдаемая информация Фишера?

В стандартной настройке максимального правдоподобия (iid sample из некоторого распределения с плотностью f y ( y | θ 0 )) и в случае правильно заданной модели информация Фишера задается как$Y_{1}, \ldots, Y_{n}$$f_{y}(y|\theta_{0}$

$$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$$

где ожидание берется относительно истинной плотности, которая генерировала данные. Я прочитал, что наблюдаемая информация Фишера

$$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$$

используется первично, потому что интеграл, участвующий в вычислении (ожидаемой) информации Фишера, в некоторых случаях может оказаться невозможным. Что меня смущает, так это то, что даже если интеграл выполним, нужно рассчитывать на истинную модель, которая включает неизвестное значение параметра . Если это так , то оказывается , что , не зная θ 0 , невозможно вычислить I . Это правда?$\theta_{0}$$\theta_{0}$$I$

У вас есть четыре quanties здесь: истинный параметр & , последовательная оценка & thetas , ожидаемая информация I ( θ ) при & thetas и наблюдаемая информация J ( θ ) при & thetas . Эти величины асимптотически эквивалентны, но, как правило, они используются.$\theta_0$$\hat \theta$$I(\theta)$$\theta$$J(\theta)$$\theta$

1. Наблюдаемая информация сходится по вероятности к ожидаемой информации I(thetas0)=Еthetas0[ ∂

   $$J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$$ когдаYпредставляет собой IID выборка из F(thetas0). ЗдесьЕthetas0(х)указываетожидание ш / г / т распределение индексируетсяthetas0:∫хF(х|thetas0)дх. Эта сходимость имеет место из-за закона больших чисел, поэтому предположение, чтоY∼f $$I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$$ $Y$$f(\theta_0)$$E_{\theta_0} (x)$$\theta_0$$\int x f(x | \theta_0) dx$ здесь решающее значение.$Y \sim f(\theta_0)$

2. Когда вы получили оценку & thetas , что сходится по вероятности к истинному параметру θ 0 (т.е. соответствует) , то вы можете заменить его на любое место вы видите θ - выше, в основном из - за непрерывную теорему отображения * , и все из схождений продолжают удерживать.$\hat \theta$$\theta_0$$\theta_0$$^*$

На самом деле, это кажетсянемного тонким.$^*$

замечание

Как вы и предполагали, с наблюдаемой информацией обычно легче работать, потому что дифференцирование легче, чем интеграция, и вы, возможно, уже оценили ее в ходе некоторой числовой оптимизации. При некоторых обстоятельствах (нормальное распределение) они будут одинаковыми.

Статья Эфрона и Хинкли (1978) «Оценка точности оценки максимального правдоподобия: наблюдаемая и ожидаемая информация о Фишере» приводит аргумент в пользу наблюдаемой информации для конечных выборок.

Были некоторые симуляционные исследования, которые, кажется, подтверждают теоретические наблюдения Эфрона и Хинкли (которые упоминаются в ответе Эндрю), вот одно, что я знаю не случайно: Мальдонадо, Г. и Гренландия, С. (1994). Сравнение эффективности основанных на модели доверительных интервалов, когда правильная форма модели неизвестна. Эпидемиология, 5, 171-182. Я не видел никаких исследований, которые конфликтуют. Интересно, что известные мне стандартные GLM-пакеты используют ожидаемую информацию для вычисления интервалов Вальда. Конечно, это не проблема, когда (как в GLM, линейных по естественному параметру) наблюдаемая и ожидаемая информационные матрицы равны.