Как обеспечить свойства ковариационной матрицы при подборе многомерной нормальной модели с использованием максимального правдоподобия?

Предположим, у меня есть следующая модель

где , - вектор объясняющих переменных, - параметры нелинейной функции и , где естественно, матрица.$y_i\in \mathbb{R}^K$$x_i$$\theta$$f$$\varepsilon_i\sim N(0,\Sigma)$$\Sigma$$K\times K$

Целью является обычная оценка и . Очевидный выбор - метод максимального правдоподобия. Логарифмическая вероятность для этой модели (при условии, что у нас есть образец ) выглядит следующим образом$\theta$$\Sigma$$(y_i,x_i),i=1,...,n$

Теперь это кажется простым, логарифмическая правдоподобность указывается, вводится в данные и использует некоторый алгоритм для нелинейной оптимизации. Проблема заключается в том, чтобы убедиться, что $\Sigma$ положительно определен. Использование, например, optimв R (или любом другом алгоритме нелинейной оптимизации) не гарантирует мне, что $\Sigma$ положительно определен.

Таким образом, вопрос заключается в том, как обеспечить, чтобы $\Sigma$ оставалась положительно определенной? Я вижу два возможных решения:

1. Reparametrise $\Sigma$ as $RR'$ где $R$ - верхнетреугольная или симметричная матрица. Тогда $\Sigma$ всегда будет положительно определенным и $R$ может быть неограниченным.

2. Используйте профиль вероятности. Выведите формулы для $\hat\theta(\Sigma)$ и $\hat{\Sigma}(\theta)$ . Начните с некоторого $\theta_0$ и итерируйте $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ до схождения.

Есть ли какой-то другой способ, и как насчет этих двух подходов, они будут работать, они стандартные? Это кажется довольно стандартной проблемой, но быстрый поиск не дал мне никаких указаний. Я знаю, что байесовская оценка была бы также возможна, но на данный момент я не хотел бы участвовать в ней.

Предполагая, что при построении ковариационной матрицы вы автоматически решаете проблему симметрии, ваша логарифмическая вероятность будет когда не является положительно определенным из-за термина в модель не так ли? Чтобы предотвратить числовую ошибку, если я бы предварительно вычислил и, если она не является положительной, затем сделал равной вероятность записи -Inf, в противном случае продолжу. Вы все равно должны рассчитать определитель, так что это не потребует дополнительных затрат. Σ log d e t Σ d e t Σ < 0 d e t$-\infty$$\Sigma$$\log {\rm det} \ \Sigma$${\rm det} \ \Sigma < 0$${\rm det} \ \Sigma$

Как выясняется, вы можете использовать профиль максимального правдоподобия для обеспечения необходимых свойств. Вы можете доказать, что для данного , максимизируется л( θ ,Σ$\hat\theta$$l(\hat\theta,\Sigma)$

где

Тогда можно показать, что

следовательно, нам нужно только максимизировать

Естественно, в этом случае будет удовлетворять все необходимые свойства. Доказательства идентичны для случая, когда линейна, что можно найти в «Анализе временных рядов » Дж. Д. Гамильтона, стр. 295, поэтому я их опускаю.$\Sigma$$f$

Альтернативная параметризация для ковариационной матрицы выражается в терминах собственных значений и углов «Гивенса» . p ( p - 1 ) / 2 θ i$\lambda_1,...,\lambda_p$$p(p-1)/2$$\theta_ij$

То есть мы можем написать

где ортонормирован, и$G$

с .$\lambda_1 \geq ... \geq \lambda_p \geq 0$

Между тем, может быть уникально параметризована в терминах углов, , где и . [1]$G$$p(p-1)/2$$\theta_{ij}$$i = 1,2,...,p-1$$j = i, ..., p-1$

(подробности будут добавлены)

[1]: Хоффман, Раффенетти, Рюденберг. «Обобщение углов Эйлера на N-мерные ортогональные матрицы». J. Math. Phys. 13, 528 (1972)

В соответствии с решением charles.y.zheng, вы можете захотеть смоделировать , где - диагональная матрица, а - разложение Холецкого ранга, обновляющего , Только тогда вам нужно сохранить положительную диагональ чтобы сохранить положительную определенность . То есть вы должны оценить диагональ и элементы вместо оценки .$\Sigma = \Lambda + C C^{\top}$$\Lambda$$C$$\Lambda$$\Lambda$$\Sigma$$\Lambda$$C$$\Sigma$