Что такое идентификация модели?

Я знаю, что с моделью, которая не может быть идентифицирована, можно сказать, что данные создаются несколькими различными назначениями параметров модели. Я знаю, что иногда можно ограничить параметры так, чтобы все были идентифицируемыми, как в примере в Cassella & Berger 2nd ed, раздел 11.2.

Учитывая конкретную модель, как я могу оценить, можно ли ее идентифицировать?

Для идентификации мы говорим о параметре (который может быть вектором), который находится в пространстве параметров Θ , и о семействе распределений (для простоты, представьте PDF-файлы), индексированных по θ, которые мы обычно пишем что-то вроде { f θ$\theta$$\Theta$$\theta$ . Например, θ может быть θ = β, а f может быть$\{ f_{\theta}|\, \theta \in \Theta\}$$\theta$$\theta = \beta$$f$

что означает, чтоΘ=(0,∞). Для того, чтобы модель была идентифицируемой, преобразование, которое отображаетθвfθ,должно бытьвзаимно-однозначным. Учитывая модель на коленях, самый простой способ проверить это - начать с уравненияfθ 1 =fθ 2 (это равенство должно выполняться для (почти) всехxв

$$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$$ $\Theta = (0,\infty)$$\theta$$f_{\theta}$$f_{\theta_{1}} = f_{\theta_{2}}$$x$поддержка ) и попытаться использовать алгебру (или какой -либо другой аргумент) , чтобы показать , что именно такое уравнение предполагает , что, по сути, & .$\theta_{1} = \theta_{2}$

Если вы преуспеете с этим планом, то ваша модель будет идентифицируемой; продолжай свой бизнес. Если вы этого не сделаете, то либо ваша модель не может быть идентифицирована, либо вам нужно найти другой аргумент. Интуиция одна и та же, независимо от того: в идентифицируемой модели невозможно, чтобы два разных параметра (которые могли быть векторами) приводили к одной и той же функции правдоподобия.

Это имеет смысл, потому что, если для фиксированных данных два уникальных параметра приводят к одинаковой вероятности, тогда будет невозможно провести различие между двумя параметрами-кандидатами на основе только данных. В этом случае невозможно определить истинный параметр.

Для приведенного выше примера уравнение равно $f_{\theta_{1}} = f_{\theta_{2}}$ для (почти) всехx>0. Если мы возьмем журналы обеих сторон мы получаем -

$$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$$ $x > 0$ приx>0, что подразумевает линейную функцию $$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$$ $x > 0$ (почти) тождественно равен нулю. Единственная линия, которая делает это, - это та, которая имеет наклон 0 и точку пересечения y с нулем. Надеюсь, вы сможете увидеть все остальное. $$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$$

$f(y) = y^{2}$$y$$[-1,1]$$y$$[0,1]$

Одним из способов является проверка ковариационной матрицы, $\Sigma$, вашего параметра оценки. Если две оценки параметров идеально (приблизительно) коррелируют друг с другом или одна оценка параметров является (приблизительно) линейной комбинацией нескольких других, то ваша модель не идентифицируется; параметры, которые являются функциями других, не являются необходимыми. В каждом из этих случаев$\Sigma$также будет (приблизительно) единичным. Так что если$\Sigma$примерно единственное число, это может дать вам повод для беспокойства по поводу проблем с идентификацией. (Хотя я не думаю, что это обнаружило бы нелинейные отношения между оценками параметров, которые привели бы к неидентификации).

Практическая проблема заключается в том, что часто трудно рассчитать $\Sigma$ даже для слегка сложных моделей.

Если вы решаете задачу максимального правдоподобия, то вы знаете, что асимптотическая ковариационная матрица ваших оценок равна инверсии информации Фишера, оцененной в MLE. Таким образом, проверка информационной матрицы Фишера на наличие (приблизительной) особенности также является разумным способом оценки идентифицируемости. Это также работает в тех случаях, когда теоретическую информацию о Фишере трудно рассчитать, поскольку зачастую можно очень точно численно аппроксимировать согласованную оценку матрицы информации о Фишере, например, путем оценки ожидаемого внешнего продукта функции оценки по наблюдаемому среднему внешнему продукту. ,

Если вы не решаете проблему ОД, вы можете справиться с $\Sigma$ путем моделирования данных из модели и оценки параметров большое количество раз и расчета выборочной ковариационной матрицы.