Пространственное представление состояний ARMA (p, q) из Гамильтона

Я читал главу 13 Гамильтона, и у него есть следующее представление пространства состояний для ARMA (p, q). Пусть Затем процесс ARMA (p, q) выглядит следующим образом: \ begin {align} y_t - \ mu & = \ phi_1 (y_ {t-1} - \ mu) + \ phi_2 (y_ {t-2} - \ mu) + ... + \ phi_3 (y_ {t-3} - \ mu) \\ & + \ epsilon_t + \ theta_1 \ epsilon_ {t-1} +. .. + \ theta_ {r-1} \ epsilon_ {t-r + 1}. \ end {align} Затем он определяет уравнение состояния следующим образом:$r = \max(p,q+1)$

$$\begin{aligned} y_t -\mu &= \phi_1(y_{t-1} -\mu) + \phi_2(y_{t-2} -\mu) + ... + \phi_3(y_{t-3} -\mu) \\ &+ \epsilon_t + \theta_1\epsilon_{t-1} + ... + \theta_{r-1}\epsilon_{t-r+1}. \end{aligned}$$

$$\xi_{t+1} = \begin{bmatrix} \phi_1 & \phi_2 & \dots & \phi_{r-1} & \phi_r \\ 1 & 0 & \dots & 0 & 0 \\ \vdots & \vdots & \dots & 0 & 0 \\ 0 & 0 & \dots &1 &0 \end{bmatrix} \xi_t + \begin{bmatrix} \epsilon_{t+1} \\ 0\\\vdots \\ 0 \end{bmatrix}$$

и уравнение наблюдения как:

$$y_t = \mu + \begin{bmatrix} 1 & \theta_1 & \theta_2 & \dots & \theta_{r-1} \\ \end{bmatrix} \xi_t.$$

Я не понимаю, что такое $\xi_t$ в этом случае. Потому что в его представлении AR (p) это $\begin{bmatrix} y_{t} - \mu \\ y_{t-1} - \mu\\\vdots \\ y_{t-p+1} - \mu \end{bmatrix}$ и в своем представлении MA (1) это $\begin{bmatrix} \epsilon_{t} \\ \epsilon_{t-1} \end{bmatrix}$ .

Может ли кто-нибудь объяснить мне это немного лучше?

Гамильтон показывает, что это правильное представление в книге, но подход может показаться немного нелогичным. Поэтому позвольте мне сначала дать высокоуровневый ответ, который мотивирует его выбор моделирования, а затем немного уточнить его вывод.

Мотивация :

Как станет ясно из прочтения главы 13, существует много способов написания динамической модели в форме пространства состояний. Поэтому мы должны спросить, почему Гамильтон выбрал именно это представление. Причина в том, что это представление сохраняет размерность вектора состояния низкой. Интуитивно, вы могли бы подумать (или, по крайней мере, я бы), что вектор состояния для ARMA ( , ) должен быть как минимум размерностью . В конце концов, просто наблюдая, скажем, , мы не можем вывести значение . Тем не менее он показывает, что мы можем определить представление пространства состояний умным способом, который оставляет вектор состояния размерности не болееq p + q y t - 1 ϵ t - 1 r = max { p , q + 1 } p $p$$q$$p+q$$y_{t-1}$$\epsilon_{t-1}$$r = \max\{p, q + 1 \}$, Я полагаю, что поддержание низкой размерности состояния может быть важным для вычислительной реализации. Оказывается, его представление в пространстве состояний также предлагает хорошую интерпретацию процесса ARMA: ненаблюдаемое состояние - это AR ( ), а часть MA ( ) возникает из-за ошибки измерения.$p$$q$

Вывод :

Теперь для вывода. Во-первых, обратите внимание, что, используя обозначение оператора задержки, ARMA (p, q) определяется как: где мы позволяем для , и для и мы опускаем поскольку равно по крайней мере . Поэтому все, что нам нужно показать, это то, что его уравнения состояния и наблюдения подразумевают приведенное выше уравнение. Пусть вектор состояния будет Теперь рассмотрим уравнение состояния. Вы можете проверить, что уравнения от доϕ j = 0 j > p θ j = 0 j > q θ r r q +

$$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) =(1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\epsilon_t$$ $\phi_j = 0$$j>p$$\theta_j = 0$$j>q$$\theta_r$$r$$q+1$ 2г ξ I , т £ , я - 1 , т + 1 ξ г , т т+1 £ , я , т + 1 £ , 1 , t + 1 = ϕ 1 ξ 1 $$\mathbf{\xi}_t = \{\xi_{1,t}, \xi_{2,t},\ldots,\xi_{r,t}\}^\top$$ $2$$r$просто переместите записи в один период вперед и в векторе состояний в момент времени . Поэтому первое уравнение, определяющее является релевантным. это: Поскольку второй элемент является первым элементом , а третий элемент является первый элемент$\xi_{i,t}$$\xi_{i-1,t+1}$$\xi_{r,t}$$t+1$$\xi_{i,t+1}$ξ t ξ t - 1 ξ t ξ t - 2 ( 1 - ϕ 1 L - … - ϕ r L r ) ξ 1 , t + 1 = ϵ t + 1 y $$\xi_{1,t+1} = \phi_1 \xi_{1,t} + \phi_2 \xi_{2,t} + \ldots + \phi_r \xi_{r,t} + \epsilon_{t+1}$$ $\mathbf{\xi_{t}}$$\mathbf{\xi_{t-1}}$$\mathbf{\xi_{t}}$$\mathbf{\xi_{t-2}}$и так далее, мы можем переписать это, используя обозначение оператора отставания и переместив многочлен отставания в левую часть (уравнение 13.1.24 в H.): Таким образом, скрытое состояние следует за процессом авторегрессии. Аналогично, уравнение наблюдения имеет вид или это не очень похоже на ARMA, но теперь приходит хорошая часть: умножьте последнее уравнение на : $$(1-\phi_1L - \ldots - \phi_rL^r)\xi_{1,t+1} = \epsilon_{t+1}$$ y t - μ = ( 1 + θ 1 L + … + θ r - 1 L r - 1 ) ξ 1 , т ( 1 - ϕ 1 л $$y_t = \mu + \xi_{1,t} + \theta_1\xi_{2,t} + \ldots + \theta_{r-1}\xi_{r-1,t}$$ $$y_t - \mu = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\xi_{1,t}$$ ( 1 - ϕ 1 L - … - ϕ r L r ) ( y t - μ ) = ( 1 + θ 1 L + … + θ r - 1 L r - 1 ) ( 1 - ϕ 1 L - … - ϕ r L r ) $(1-\phi_1L - \ldots - \phi_rL^r)$ ( 1 - ϕ 1 L - … - ϕ r L r ) ξ 1 , t = ϵ t ( 1 - ϕ 1 L - … - ϕ r L r ) ( y t - μ ) = ( 1 + θ 1 L + … + Θ r - 1 L r - 1 $$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})(1-\phi_1L - \ldots - \phi_rL^r)y_t$$ Но из уравнения состояния (с отставанием на один период) мы имеем ! Таким образом, вышесказанное эквивалентно это именно то, что нам нужно было показать! Таким образом, система наблюдения за состоянием правильно представляет ARMA (p, q). Я действительно перефразировал Гамильтона, но я надеюсь, что это все равно полезно.$(1-\phi_1L - \ldots - \phi_rL^r)\xi_{1,t} = \epsilon_{t}$ $$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\epsilon_{t}$$

Это то же самое, что и выше, но я подумал, что смогу дать более короткий и краткий ответ. Опять же, это представление Гамильтона для причинного процесса ARMA ( , ), где . Это число будет измерением вектора состояния , и необходимо сделать количество строк в состояние совпадает с количеством столбцов матрицы наблюдения. Это означает, что мы также должны устанавливать коэффициенты равными нулю, когда индекс слишком велик.$p$$q$$r=\max(p,q+1)$$r$$(\xi_t, \xi_{t-1},\ldots, \xi_{t-r+1})'$

1. Уравнение наблюдения

$$\begin{align*} &\phi(B)(y_t - \mu) = \theta(B)\epsilon_t \\ \iff &(y_t - \mu) = \phi^{-1}(B)\theta(B)\epsilon_t \tag{causality}\\ \iff &y_t = \mu + \phi^{-1}(B)\theta(B)\epsilon_t \\ \iff &y_t = \mu + \theta(B)\phi^{-1}(B)\epsilon_t \\ \iff &y_t = \mu + \theta(B)\xi_t \tag{letting $\xi_t = \phi^{-1}(B)\epsilon_t$}\\ \iff &y_t = \mu + \left[\begin{array}{ccccc}1 & \theta_1 & \theta_2 & \ldots & \theta_{r-1} \end{array}\right] \underbrace{\left[\begin{array}{c} \xi_t \\ \xi_{t-1} \\ \vdots \\ \xi_{t-r+1} \end{array}\right]}_{\text{the state vector}} + 0\tag{this is where we need $r$}. \end{align*}$$

2. Государственное уравнение

$$\begin{align*} &\xi_t = \phi^{-1}(B)\epsilon_t \\ \iff &\phi(B)\xi_t = \epsilon_t \\ \iff &(1 - \phi_1 B - \cdots - \phi_rB^r) \xi_t = \epsilon_t \\ \iff &\xi_t = \phi_1 \xi_{t-1} + \cdots + \phi_r \xi_{t-r} + \epsilon_t \\ \iff & \left[\begin{array}{c} \xi_t \\ \xi_{t-1} \\ \xi_{t-2} \\ \vdots \\ \xi_{t-r+1} \end{array}\right] = \left[ \begin{array}{ccccc} \phi_1 & \phi_2 & \phi_3 & \cdots & \phi_r \\ 1 & 0 & 0 & \cdots & 0 \\ 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \cdots & 0 \\ 0 & 0 &\cdots & 1 & 0 \end{array}\right] \left[ \begin{array}{c} \xi_{t-1} \\ \xi_{t-2} \\ \vdots \\ \xi_{t-r} \end{array}\right] + \left[ \begin{array}{c} \epsilon_t \\ 0 \\ \vdots \\ 0 \end{array}\right]. \end{align*}$$