Определитель информационной матрицы Фишера для сверхпараметрической модели

Рассмотрим случайную переменную Бернулли с параметром (вероятность успеха). Функция правдоподобия и информация Фишера ( матрица ):θ 1 × $X\in\{0,1\}$$\theta$$1 \times 1$

$$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$$

Теперь рассмотрим «слишком параметризованную» версию с двумя параметрами: вероятность успеха $\theta_1$ и вероятность отказа $\theta_0$ . (Обратите внимание, что $\theta_1+\theta_0=1$ , и это ограничение подразумевает, что один из параметров является избыточным.) В этом случае функция правдоподобия и информационная матрица Фишера (FIM):

$$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$$

Обратите внимание, что детерминанты этих двух FIM идентичны. Кроме того, это свойство распространяется на более общий случай категориальных моделей (т. Е. Более двух состояний). Он также распространяется на лог-линейные модели с различными подмножествами параметров, ограниченными до нуля; в этом случае дополнительный «избыточный» параметр соответствует функции логарифмического разбиения, и эквивалентность двух определителей FIM может быть показана на основе дополнения Шура более крупного FIM. (На самом деле, для лог-линейных моделей меньшая FIM является просто дополнением Шура к большей FIM.)

Может ли кто-нибудь объяснить, распространяется ли это свойство на больший набор параметрических моделей (например, на все экспоненциальные семейства), позволяя опцию получения определителей FIM на основе такого «расширенного» набора параметров? Т.е. предположим любую данную статистическую модель с параметрами, которые лежат на мерном многообразии, вложенном в -мерное пространство. Теперь, если мы расширим набор параметров, чтобы включить еще одно измерение (которое полностью ограничено на основе других) и вычислим FIM на основе этих параметров, мы всегда получим тот же определитель, что и исходный (независимых) параметров? Кроме того, как эти два FIM связаны?$n$$n$$(n+1)$$(n+1)$$n$

Причина, по которой я задаю этот вопрос, состоит в том, что FIM с дополнительным параметром часто выглядит проще. Моя первая мысль - это не должно работать вообще. FIM включает в себя вычисление частных производных логарифмической вероятности по каждому параметру. Эти частные производные предполагают, что, хотя рассматриваемый параметр изменяется, все остальные параметры остаются постоянными, что неверно, если мы задействуем дополнительный (ограниченный) параметр. В этом случае мне кажется, что частные производные больше не действительны, потому что мы не можем предполагать, что другие параметры постоянны; Однако мне еще предстоит найти доказательства того, что это на самом деле проблема. (Если частные производные являются проблематичными в случаях с зависимыми параметрами, являются ли общие производные$(n+1) \times (n+1)$нужен вместо этого? Я еще не видел пример вычисления FIM с полным производным, но, возможно, это решение ...)

Единственный пример, который я мог найти в Интернете, который вычисляет FIM на основе такого «расширенного» набора параметров, заключается в следующем: эти примечания содержат пример для категориального распределения, вычисляя требуемые частные производные как обычно (т.е. как если бы каждый параметр был независимым даже если среди параметров есть ограничение).

Для нормального информационная матрица имеет вид Для искривленной нормальнойИтак, ваше наблюдение, что детерминанты равны, не универсально, но это еще не все.$X\sim N(\mu,\sigma^2)$

$$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$$ $X\sim N(\mu,\mu^2)$ $$\mathcal{I}_2=\frac{3}{\mu^2}.$$

Как правило, если является информационной матрицей при репараметризации то нетрудно увидеть, что Информационная матрица для исходных параметров имеет вид где - якобиан преобразования .$\mathcal{I}_g$

$$g(\theta)=(g_1(\theta),...,g_k(\theta))',$$ $$I(\theta)=G'I_g(g(\theta))G$$ $G$$g=g(\theta)$

Для примера Бернулли и . Итак, якобиан равен и, таким образом, $(\theta_0,\theta_1)=(p,1-p)$$g(p)=(p,1-p)$$(1,-1)'$

$$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$$

Для изогнутого нормального примера,

$$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$$

Я думаю, что теперь вы можете легко связать детерминанты.

Продолжение после комментария

Если я вас правильно понял, FIM действителен до тех пор, пока вы существенно расширяете параметры: вероятность при новой параметризации должна быть действительной плотностью. Поэтому я назвал пример Бернулли неудачным.

Я думаю, что ссылка, которую вы предоставили, имеет серьезный недостаток при выводе FIM для категориальных переменных, так как у нас есть и . Обнаружение отрицательного гессиана дает , но не для ковариации векторов оценок. Если вы пренебрегаете ограничениями, равенство информационной матрицы не выполняется. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$$E(x_ix_j)=\theta_i\theta_j\neq 0$$\mathrm{diag}\{1/\theta_i\}$

Похоже, что результат имеет место для определенного вида связи между параметрами.

Не претендуя на полную общность приведенных ниже результатов, я придерживаюсь одного-двух параметров. Обозначим неявное уравнение, которое выражает отношения, которые должны соблюдаться между двумя параметрами. Тогда «правильное расширенное», «двухпараметрическое» логарифмическое правдоподобие (не то, что подсчитывает ОП - мы придем туда)$g(\theta_0,\theta_1) =0$

$$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$$ эквивалентно истинному правдоподобию , поскольку , ( является множитель), и мы можем рассматривать два параметра как независимые, в то время как мы дифференцируем.$L$$g(\theta_0,\theta_1)=0$$\lambda$

Используя индексы для обозначения производных по параметрам (одна первая производная нижнего индекса, вторая вторая производная нижних индексов), определитель гессиана правильного расширенного логарифмического правдоподобия будет

$$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$$

Что делает OP вместо этого?

Он считает неправильное правдоподобие «игнорированием» отношения между двумя параметрами и без учета ограничения . Затем он приступает к дифференциации и получает$L^*(\theta_0,\theta_1)$$g(\theta_0,\theta_1)$

$$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$$

Очевидно, что в общем случае не равно .$(2)$$(1)$

Но если , то$g_{00}=g_{11}=g_{00}=0$

$$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$$

Таким образом, если связь между фактическим параметром и избыточным параметром такова, что все вторые частные производные неявной функции, которая их связывает, все равны нулю , то подход, который в корне неверен, оказывается «правильным».

Для случая Бернулли мы действительно имеем

$$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$$

ADDENDUM
Чтобы ответить на вопрос @Khashaa и показать здесь механику, мы рассмотрим вероятность, указанную с избыточным параметром, но также с ограничением, которое связывает избыточный параметр с истинным. Что мы делаем с логарифмическими правдоподобиями, так это максимизируем их - так что здесь у нас есть случай ограниченного максимизации. Предположим, что образец размером :$n$

$$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$$

Эта проблема имеет лангранжеву (то, что неофициально я назвал «правильной расширенной вероятностью» выше),

$$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$$

Условия первого порядка для максимума

$$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$$

для которого мы получаем соотношение

$$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

используя ограничение, при котором вышеприведенные действительны, мы получаем$\theta_1 = 1-\theta_0$

$$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

$$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$$

как мы должны.

Более того, поскольку ограничение является линейным по всем параметрам, его вторые производные будут равны нулю. Это отражается в том факте, что в первых производных лагрангана множитель " "стоит один", и он будет исключен, когда мы возьмем вторые производные лагранжиана. Что, в свою очередь, приведет нас к гессиану, чей определитель будет равен (одномерной) второй производной от исходного однопараметрического логарифмического правдоподобия, после наложения также ограничения (что и делает OP). Тогда взятие отрицательного значения ожидаемого значения в обоих случаях не меняет эту математическую эквивалентность, и мы приходим к соотношению «одномерная информация Фишера = определитель двумерной информации Фишера». Сейчас же$\lambda$учитывая, что ограничение является линейным по всем параметрам, OP получает тот же результат (на уровне второй производной), не вводя ограничение с множителем в функцию, которая должна быть максимизирована, поскольку на втором уровне производной присутствие / влияние ограничение исчезает в таком случае.

Все это связано с исчислением, а не со статистическими понятиями.