Имитация Гамильтона-Якоби-Беллмана

Скажем, я решил HJB в форме:

$\rho V(k) = \max_c g(c) + V'(k)(z - c)$

Я откалиброван $\rho$ месячных параметров. Я хотел бы смоделировать развитие $k$ . Я начинаю с $k(0)$ . Однако, в отличие от дискретного времени, я не уверен, что будет дальше.

Является ли , где является значением для следующего месяца? Или мне нужно как-то интегрировать по линии ? Есть много ссылок на решение этих вещей, но я не смог найти никаких ссылок на имитацию этого.$k(1) = k(0) + (z-c(0))$$k(1)$$k$$k(1) = \int_0^1 (z-c(t))dt + k(0)$

Если продолжить ответ jmbejara и ваш вопрос об интеграции, то здесь есть три шага:

1. Решите уравнение HJB . (Вы уже сделали это.)$\rho V(k) = \max_c g(c)+V'(k)(z-c)$
2. Получите функцию политики . (Вы, вероятно, уже сделали это, решая HJB.)$c(k)=\text{argmax}_c g(c)+V'(k)(z-c)$
3. Подставим в закон движения для и численно решим это дифференциальное уравнение для :$c(k)$$k$$k(t)$ $$\dot{k}=z-c(k)$$

Похоже, у вас уже были (1) и (2), и вы просто не знали, что именно делать в (3). Если вы работаете в детерминированной среде (а из HJB это выглядит так, как вы), вам не требуется никакой дискретизации: вы можете просто использовать консервированный ODE-решатель из Matlab или любой другой программный пакет для численного решения дифференциального уравнения выше для .$k(t)$

Чтобы быть немного более конкретным:

• Если HJB прост, и у вас есть аналитическое решение для , и, таким образом, вы также можете легко вычислить , это здорово. Вы можете просто подключить к закону движения для и указать выбранный вами программный пакет, чтобы решить его и получить траекторию .$V(k)$$c(k)$$c(k)$$k$$k(t)$
• Если вам нужно было численно решить HJB, то это здорово, потому что это означает, что вы, вероятно, уже использовали какую-то численную технику решения ODE и будете знакомы с ней. С другой стороны, это означает, что когда вы изначально получите и , вы получите его только для сетки , а не для какой-то формулы, которую можно применять везде - что является проблемой потому что вам нужно будет иметь возможность определить в любой точке в континууме, если вы собираетесь численно решить дифференциальное уравнение для$V(k)$$c(k)$$k$$c(k)$$k$$\dot{k}$$k(t)$, Насколько мне известно, самый простой способ обойти сплайн (или использовать какой-то другой метод аппроксимации) для дискретной сетки значений которые у вас есть. Затем вы можете получить приблизительное значение любом месте, которое покрыто сплайном, и это будет очень точно, если ваш ODE хорошо себя ведет и у вас плотная сетка.$(k_{grid},c(k_{grid}))$$c(k)$

Ситуация усложняется в стохастической среде, но ваш случай выглядит детерминированным. (И, чтобы быть ясным, я просто балуюсь здесь: численные методы не моя область знаний. Но это то, что я знаю.)

Вы работаете в дискретное время, посмотрите, например, этот ресурс .

Или эта (неполная) статья , в которой участвует один и тот же автор. В начале статья говорит о «грубых дискретных методах» и может создать впечатление, что она содержит метод непрерывного моделирования времени. Это действительно не - см. Описание их алгоритма в Приложении, стр. 30.

Кроме того, это магистерская диссертация , которая, будучи дипломной работой, описывает шаги в некоторых деталях и с богатством ссылочной литературы.

Поскольку заметки Бена уже были упомянуты, я не совсем уверен, почему вы не выполняете итерацию с течением времени, используя прямое приближение, поскольку он предлагает

что дает

Как только вы решили уравнение чтобы найти функцию вы должны быть в состоянии решить для того, что называется политикой функция. Функция является функцией значения. Знание должно дать вам информацию, которую вам нужно найти для политики, скажем, . Тогда это скажет вам, как будет развиваться с течением времени.$\rho V(k) = \max_c g(c) + V'(k)(z - c)$$V(k)$$V(k)$$V(k)$$c(k,t)$$k$