Ограниченная максимальная вероятность с менее чем полным рангом столбца

Этот вопрос касается оценки ограниченного максимального правдоподобия (REML) в конкретной версии линейной модели, а именно:

$$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$$

где - ( ) матрица, параметризованная , как и . \ beta - неизвестный вектор параметров помех; интерес в оценке \ alpha , и мы имеем k \ leq p \ ll n . Оценка модели по максимальной вероятности не проблема, но я хочу использовать REML. Хорошо известно, смотрите , например , LaMotte , что вероятность А ~ , где любая полуортогональной матрица такой , что А'й = 0 можно записать$X(\alpha)$$n \times p$$\alpha \in \mathbb R^k$$\Sigma(\alpha)$$\beta$$\alpha$$k\leq p\ll n$$A'Y$$A$$A'X=0$

$$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$$

когда $X$ полный ранг столбца .

Моя проблема в том, что для некоторых совершенно разумных и научно интересных $\alpha$ матрица $X(\alpha)$ не имеет полного ранга столбца. Все выводы , которые я видел в ограниченной вероятности выше использует детерминантных равенствами, которые не применимы при $\vert X'X\vert=0$ , то есть они берут на себя полный ранг столбца $X$ . Это означает, что приведенная выше ограниченная вероятность верна только для моих настроек на части пространства параметров, и, следовательно, это не то, что я хочу оптимизировать.

Вопрос: Существуют ли более общие ограниченные вероятности, полученные в статистической литературе или где-либо еще, без предположения, что $X$ будет полным рангом столбца? Если так, то как они выглядят?

Некоторые наблюдения:

• Вывод экспоненциальной части не является проблемой для любого и он может быть записан в терминах обратного Мура-Пенроуза, как указано выше.$X(\alpha)$
• Столбцы являются (любым) ортонормированным базисом дляC ( X ) $A$$C(X)^\bot$
• Для известного вероятность может быть легко записана для каждого , но, конечно, число базисных векторов, то есть столбцов, в зависит от ранга столбцаA ′ Y α A $A$$A'Y$$\alpha$$A$$X$

Если кто-то заинтересован в этом вопросе, считает, что точная параметризация поможет, дайте мне знать, и я запишу их. Однако в данный момент меня больше всего интересует REML для общего правильных размеров.$X,\Sigma$ $X$

---

Более подробное описание модели следует здесь. Пусть - векторная авторегрессия первого порядка [VAR (1)], где . Предположим, что процесс начинается с некоторого фиксированного значения в момент времени .г V т I я d ~ N ( 0 , Ω ) у 0 т = $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$$r$$v_t \overset{iid}{\sim}N(0, \Omega)$$y_0$$t = 0$

Определите . Модель может быть записана в форме линейной модели с использованием следующих определений и обозначений: Y = X β + $Y = [y_1', \dots, y_T']'$$Y = X\beta + \varepsilon$

$$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$$

где обозначает мерный вектор из единиц и первый стандарт базисный вектор . Т - Э 1 , Т Р$1_T$$T-$$e_{1,T}$$\mathbb R^T$

Обозначим . Обратите внимание, что если не является полным рангом, то не является полным рангом столбца. Это включает, например, случаи, когда один из компонентов не зависит от прошлого.A X ( α ) y $\alpha = \mathrm{vec}(A)$$A$$X(\alpha)$$y_t$

Идея оценки VAR с использованием REML хорошо известна, например, в литературе по прогнозирующим регрессиям (см., Например, Phillips и Chen и ссылки в них).

Возможно, стоит пояснить, что матрица не является проектной матрицей в обычном смысле, она просто выпадает из модели, и, если нет априорных знаний об то, насколько я могу судить, способа перепараметризации нет. это будет полный ранг.$X$$A$

---

Я разместил вопрос на math.stackexchange, который связан с этим вопросом в том смысле, что ответ на математический вопрос может помочь в определении вероятности ответа на этот вопрос.

Вывод экспоненциальной части не является проблемой для любого X (α) X (α) и может быть записан в терминах обратного Мура-Пенроуза, как указано выше.

Я сомневаюсь, что это наблюдение верно. Обобщенное обратное на самом деле накладывает дополнительное линейное ограничение на ваши оценки [Рао и Митра], поэтому мы должны рассматривать совместную вероятность в целом, а не гадать «обратное Мура-Пенроуза будет работать для экспоненциальной части». Это кажется формально правильным, но вы, вероятно, не правильно понимаете смешанную модель.

$\blacksquare$ (1) Как правильно мыслить моделями со смешанным эффектом?

Вы должны подумать о смешанном эффекте модели по-другому, прежде чем пытаться механически подключить g-инверсию (ИЛИ инверсию Мура-Пенроуза, которая является особым видом рефлексивного g-инверсии [Rao & Mitra]) в формулу, заданную RMLE (Restricted) Оценщик максимального правдоподобия, то же самое ниже.).

$$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$$

Распространенный образ мышления смешанного эффекта состоит в том, что часть случайного эффекта в матрице проектирования вводится ошибкой измерения, которая носит другое название «стохастический предиктор», если мы больше заботимся о прогнозировании, чем об оценке. Это тоже одна историческая мотивация изучения стохастической матрицы в постановке статистики.

Моя проблема в том, что для некоторых совершенно разумных и научно интересных αα матрица X (α) X (α) не имеет полного ранга столбца.

При таком способе мышления вероятность того, что не имеет полного ранга, равна нулю. Это связано с тем, что определяющая функция является непрерывной в элементах матрицы, а нормальное распределение является непрерывным распределением, которое присваивает нулевую вероятность одной точке. Вероятность наличия дефектного ранга положительна, если вы его параметризовали патологически, например .X ( α ) ( α α α $X(\alpha)$$X(\alpha)$$\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

Таким образом, решение вашего вопроса также довольно простое: вы просто возмущаете свою матрицу дизайна (возмущает только часть с фиксированным эффектом) и использует возмущенную матрицу (которая имеет полный ранг) для выполнения всех выводов. Если ваша модель не имеет сложных иерархий или если сам близок к единственному, я не вижу серьезной проблемы, когда вы берете в конечном результате, так как детерминантная функция непрерывна, и мы можем взять предел внутри детерминантной функции. , И в возмущении образуют обратную X ϵ → 0 l i m ϵ → 0 | X ϵ | = | л я $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$$X$$\epsilon\rightarrow 0$X ϵ I+$lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$$X_\epsilon$можно получить с помощью теоремы Шермана-Моррисиона-Вудбери. А определитель матрицы приведен в стандартной книге по линейной алгебре, подобной [Horn & Johnson]. Конечно, мы можем написать определитель в терминах каждой записи матрицы, но возмущение всегда предпочтительнее [Horn & Johnson].$I+X$

$\blacksquare$ (2) Как мы должны иметь дело с параметрами помех в модели?

Как видите, чтобы иметь дело с частью случайного эффекта в модели, мы должны рассматривать ее как своего рода «параметр неприятности». Проблема в том, является ли RMLE наиболее подходящим способом устранения нежелательных параметров? Даже в GLM и моделях со смешанным эффектом RMLE далеко не единственный выбор. Басу отметил, что многие другие способы устранения параметров в настройке оценки. Сегодня люди предпочитают выбирать между RMLE и байесовским моделированием, потому что они соответствуют двум популярным компьютерным решениям: EM и MCMC соответственно.

На мой взгляд, определенно более целесообразно ввести априор в ситуации с дефектным рангом в части с фиксированным эффектом. Или вы можете перепараметрировать вашу модель, чтобы превратить ее в полноценную.

Кроме того, в случае, если ваш фиксированный эффект не имеет полного ранга, вы можете беспокоиться о неправильно заданной ковариационной структуре, потому что степени свободы в фиксированных эффектах должны были войти в часть ошибки. Чтобы увидеть этот момент более четко, вы можете рассмотреть MLE (также LSE) для GLS (Общая минимальная площадь) где - ковариационная структура члена ошибки, для случая, когда не является полным рангом.$\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$$\Sigma$$X(\alpha)$

$\blacksquare$ (3) Дополнительные комментарии

Проблема не в том, как вы модифицируете RMLE, чтобы он работал, если часть матрицы с фиксированным эффектом не имеет полного ранга; проблема в том, что в этом случае ваша модель может быть проблематичной, если случай с неполным рангом имеет положительную вероятность.

Один уместный случай, с которым я столкнулся, заключается в том, что в пространственном случае люди могут захотеть снизить ранг части с фиксированным эффектом из-за вычислительных соображений [Wikle].

В такой ситуации я не видел ни одного «интересного с научной точки зрения» случая. Можете ли вы указать на некоторую литературу, в которой дело с неполным рангом вызывает серьезную озабоченность? Я хотел бы узнать и обсудить дальше, спасибо.

$\blacksquare$ Ссылка

[Рао и Митра] Рао, Калямпуди Радхакришна и Суджит Кумар Митра. Обобщенная обратная матрица и ее приложения. Том 7. Нью-Йорк: Wiley, 1971.

[Басу] Басу, Дебабрата. «Об устранении неприятных параметров». Журнал Американской статистической ассоциации 72,358 (1977): 355-366.

[Хорн и Джонсон] Хорн, Роджер А. и Чарльз Р. Джонсон. Матричный анализ. Пресса Кембриджского университета, 2012.

[Wikle] Wikle, Кристофер К. «Представления низкого ранга для пространственных процессов». Справочник по пространственной статистике (2010): 107-118.