Почему в фильтре Калмана вероятность вычисляется с использованием результатов фильтра, а не сглаженных результатов?

Я использую фильтр Калмана очень стандартным способом. Система представлена ​​уравнением состояния $x_{t+1}=Fx_{t}+v_{t+1}$ и уравнением наблюдения $y_{t}=Hx_{t}+Az_{t}+w_{t}$ .

Учебники учат , что после применения фильтра Калмана и получать «прогнозы на один шаг $\hat{x}_{t|t-1}$ (или «отфильтрованная оценка»), мы должны использовать их для вычисления функции правдоподобия:

$f_{y_{t}|\mathcal{I}_{t-1},z_{t}}\left(y_{t}|\mathcal{I}_{t-1},z_{t}\right)=\det\left[2\pi\left(HP_{t|t-1}H^{\prime}+R\right)\right]^{-\frac{1}{2}}\exp\left\{ -\frac{1}{2}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)^{\prime}\left(HP_{t|t-1}H^{\prime}+R\right)^{-1}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)\right\}$

Мой вопрос: почему функция правдоподобия вычисляется с использованием «отфильтрованной оценки» а не «сглаженной оценки» ? Разве является лучшей оценкой вектора состояния?$\hat{x}_{t|t-1}$$\hat{x}_{t|T}$$\hat{x}_{t|T}$

Чтобы ответить на ваш вопрос: вы можете использовать плотность сглаживания. Но ты не обязан. В ответе Ярле Туфто есть разложение, которое вы используете. Но есть и другие.

Использование рекурсий Кальмана

Здесь вы оцениваете вероятность как

$$f(y_1, \ldots, y_n) = f(y_1)\prod_{i=2}^nf(y_i|y_1, \ldots, y_{i-1}).$$

Однако средние значения и дисперсии не всегда полностью определяют распределения вероятностей в целом. Ниже приводится разложение, которое вы используете для перехода от фильтрации распределений к условным вероятностям :$f(x_{i-1}|y_1,\ldots,y_{i-1})$$f(y_i|y_1,\ldots,y_{i-1})$

$$f(y_i|y_1, \ldots, y_{i-1}) = \iint f(y_i|x_i)f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1})dx_{i} dx_{i-1} \tag{1}.$$

Здесь - плотность перехода состояний ... часть модели, а - плотность наблюдений ... снова часть модели. В своем вопросе вы пишете их как и соответственно. Это то же самое.$f(x_i|x_{i-1})$$f(y_i|x_i)$$x_{t+1}=Fx_{t}+v_{t+1}$$y_{t}=Hx_{t}+Az_{t}+w_{t}$

Когда вы получаете распределение прогноза состояния на шаг впереди, это вычисляет . Когда вы интегрируете снова, вы получаете (1) полностью. Вы напишите эту плотность полностью в своем вопросе, и это то же самое.$\int f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1}) dx_{i-1}$

Здесь вы используете только разложения вероятностных распределений и предположения о модели. Этот расчет вероятности является точным расчетом. Там нет ничего дискреционного, что вы можете использовать, чтобы сделать это лучше или хуже.

Использование алгоритма EM

Насколько мне известно, нет другого способа оценить вероятность непосредственно в такого рода модели пространства состояний. Тем не менее, вы все равно можете сделать оценку максимального правдоподобия, оценив другую функцию: вы можете использовать алгоритм EM. На шаге ожидания (E-шаг) вы должны вычислить Здесь

$$\int f(x_1, \ldots, x_n|y_1,\ldots y_n) \log f(y_1,\ldots,y_n,x_1, \ldots,x_n) dx_{1:n} = E_{smooth}[\log f(y_1,\ldots,y_n,x_1, \ldots,x_n)].$$ $f(y_1,\ldots,y_n,x_1, \ldots,x_n)$это вероятность «полных данных», и вы берете ожидание логарифма этого относительно плотности сглаживания суставов. Часто случается так, что, поскольку вы берете журнал полной вероятности данных, термины разбиваются на суммы, а из-за линейности оператора ожидания вы берете ожидания в отношении предельных распределений сглаживания ( Вы упоминаете в своем вопросе).

Другие вещи

В некоторых местах я читал, что EM - это «более стабильный» способ максимизировать вероятность, но я никогда не видел, чтобы этот аргумент был аргументирован, и я не видел, чтобы это слово «стабильный» было определено вообще, но я также не использовал действительно изучил это дальше. Ни один из этих алгоритмов не обходит локальное / глобальное испытание максимумов. Лично я склонен использовать Кальмана чаще всего просто по привычке.

Это правда, что сглаженные оценки состояния обычно имеют меньшую дисперсию, чем фильтрация, поэтому я полагаю, что вы правы, если у вас есть некоторая интуиция, но вы на самом деле не используете состояния. Вероятность, которую вы пытаетесь максимизировать, не зависит от состояний.

Как правило, по правилу произведения точное значение вероятности может быть записано как Из предположения о модели пространства состояний следует, что вектор ожидания и матрица дисперсии каждого обусловленного прошлыми наблюдениями, могут быть выражены как и

$$f(y_1,\dots,y_n)=f(y_1)\prod_{i=2}^n f(y_i|y_1,\dots,y_{i-1}).$$ $y_i$ $$\begin{align} E(y_i|y_1,\dots,y_{i-1}) &= E(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= HE(x_{t}|y_1,\dots,y_{i-1})+Az_{t}+Ew_{t} \\&= H\hat x_{t|t-1}+Az_{t}, \end{align}$$ $$\begin{align} \mathrm{Var}(y_i|y_1,\dots,y_{i-1}) &= \mathrm{Var}(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= H\mathrm{Var}(x_{t}|y_1,\dots,y_{i-1})H'+ \mathrm{Var}w_t \\&= HP_{t|t-1}H'+R. \end{align}$$ Так что это дает вам точную вероятность без вычисления каких-либо сглаженных оценок.

Хотя вы, конечно, можете использовать сглаженные оценки, которые на самом деле являются лучшими оценками неизвестных состояний, это не даст вам функцию вероятности. Фактически вы будете использовать наблюдаемое значение для оценки своего собственного ожидаемого значения, так что, вероятно, это приведет к некоторому смещению в итоговых оценках. $y_i$

Я думаю, что лучший ответ относительно того, «почему» не используется сглаживающее распределение (как правило), это эффективность. В принципе несложно рассчитать (сглаживание) предельной вероятности в смысле «один-на-один» следующим образом. Удалить наблюдение j, запустить сглаживание Кальмана на оставшиеся данные. Затем оцените вероятность невидимого y (j). Повторите это для всех j. Подведите логарифмические вероятности. Более быстрые версии этого работают с (рандомизированными) блоками удерживаемых образцов (например, CV с кратным увеличением). Обратите внимание, что эта схема требует более общей реализации фильтра / сглаживателя Калмана, который может произвольно пропускать обновления измерений, где это необходимо. Проход назад / сглаживание не получает доступ к измерениям (алгоритм RTS в любом случае) и остается тем же.

Если временные ряды «достаточно длинные», то это вряд ли принесет пользу, так как вероятность фильтрации «сгорает» в своем начальном переходном процессе. Но если набор данных короткий, более дорогая вероятность сглаживания может стоить того. Сглаживатель с фиксированной задержкой может быть промежуточным решением.