Решение уравнения Гамильтона-Якоби-Беллмана; необходимо и достаточно для оптимальности?

Рассмотрим следующее дифференциальное уравнение где - это состояние, а - управляющая переменная. Решение дается где - заданное начальное состояние.xux(t)=x0+∫ t 0 f(x(s),u(s))ds. х0:=х(0

$$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$$ $x$$u$ $$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$$ $x_0:=x(0)$

Теперь рассмотрим следующую программу где \ rho> 0 обозначает предпочтение времени, V (\ cdot) - значение, а F (\ cdot) целевая функция. Классическим экономическим применением является модель оптимального роста Рамси-Касс-Купманса. Уравнение Гамильтона-Якоби-Беллмана определяется как \ begin {align} \ rho V (x) = \ max_u [F (x, u) + V '(x) f (x, u)], \ quad \ forall t \ в [0, \ infty). \ конец {} Align ρ>0V(⋅)F(⋅) ρ V ( x ) = max u [ F ( x , u ) + V ′ ( x ) f ( x , u ) ]

$$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$$ $\rho > 0$$V(\cdot)$$F(\cdot)$ $$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$$

Скажем , я решал HJB для $V$ . Оптимальное управление задается как

$$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$$ Я получу оптимальные траектории для состояния и управления $\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ .

Вики статья говорит

... но при решении по всему пространству состояний уравнение HJB является необходимым и достаточным условием для оптимума.

В Bertsekas (2005) « Динамическое программирование и оптимальное управление» , том 1, 3-е изд., В предложении 3.2.1 он утверждает, что решение для $V$ является оптимальной функцией стоимости, а соответствующий $u^*$ оптимален. Однако он явно объявляет это как теорему достаточности.

На самом деле, я просто хочу убедиться, что, если я решил HJB и восстановил связанные состояния и управлял траекториями, мне не нужно беспокоиться о каких-либо дополнительных условиях оптимальности.

Решение

Я пытаюсь

Я думаю, что я смог вывести необходимые условия из принципа максимума с помощью самого уравнения HJB.

Определите гамильтониан

$$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$$

тогда мы имеем

$$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$$

что

$$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$$

Определите произвольную функцию с . Теперь исправьте $q:[0,\infty)\to\mathbb{R}$$q(0)=\lim_{t\to\infty} q(t)=0$

$$\begin{align} x = x^*+\varepsilon q \end{align}$$

где является параметром. Вставьте термин в максимизированный гамильтониан, который дает $\varepsilon\in\mathbb{R}$

$$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$$

При мы имеем оптимальное решение. Таким образом, чтобы получить условие первого порядка $\varepsilon = 0$$\varepsilon$

$$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$$

Теперь определите присоединенную переменную с помощью

$$\begin{align} \lambda = V'(x). \end{align}$$

Дифференцировать по времени

$$\begin{align} \dot \lambda = V''\dot x. \end{align}$$

и обратите внимание, что

$$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$$

Вставьте все в фокус, который дает

$$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$$

Вот и все. Таким образом, решение HJB действительно необходимо и достаточно (здесь опущено) для оптимальности. Кто-то должен добавить это в вики. Может сэкономить время для людей, думающих о таких проблемах (думаю, не так уж много).

Однако условие трансверсальности отсутствует.

$$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$$

II попытка

Определить функционал выплаты

$$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$$

Обратите внимание, что по определению . Добавьте нейтральный термин к функции выплаты

$$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$$ $\dot x = f(x,u)$ $$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$$

Интеграция по частям правого слагаемого и правой части дает

$$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$$

Повторно замените этот термин

$$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$$

Определить

$$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$$

который дает

$$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$$

FOC для максимального значенияJ ε = ∫ ∞ 0 e - ρ t [ H x q + H u p + $J_\varepsilon = 0$

$$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$$

Поскольку и не ограничены, мы должны иметь $q$$p$

$$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$$

(Возможно, это следует рассматривать как комментарий.)

Если вы решили уравнение HJB, достаточно получить оптимальное решение. Таким образом, вам не «нужно беспокоиться о каких-либо других условиях оптимальности», которые, как мне кажется, отвечают на ваш вопрос.

Похоже, что вы обеспокоены «необходимым» компонентом теоремы. Необходимая сторона утверждения состоит в следующем: если существует оптимальное решение, должно существовать решение уравнения HJB.

Я не работал с этой конкретной проблемой, но в целом ответ таков: мы не ожидаем, что у нас будет дифференцируемая функция V. Поэтому у нас нет решения уравнения, как оно сформулировано. Вместо этого нам нужно посмотреть на обобщенные производные и преобразовать уравнение HJB в неравенство. В этом случае вы можете получить «раствор вязкости». Если мы расширим использование обобщенных производных, то можно будет доказать, что такое решение всегда существует. Взглянув на ваши доказательства, они не помогут в условиях необходимости, поскольку вы предполагаете дифференцируемость.