最優控制

從連續時間動態規劃問題 (HJB) 導出歐拉方程

  • April 25, 2021

使用 Benveniste Scheinkman 定理在離散時間內求解歐拉方程非常簡單。但是對於以下標準 Ramsey 模型: $$ \max \int_{0}^{\infty}e^{-rt} u(c(t))dt $$ 受制於: $$ u(c(t))=\ln(c(t)) $$ $$ \dot{k}(t)=Ak^\theta-\delta k(t)-c(t) $$

如果我使用哈密頓量,問題很簡單,但是如果我為此編寫 Hamilton-Jacobi-Bellman 方程: $$ rV(k(t))=\ln(c(t))+V’(k(t))\dot{k} $$

我不知道如何開始。如何使用相應的 HJB 方程求解歐拉方程?

正如已經評論過的,你可能指的等式是 $$ \rho V(k)= \sup_c {, u(c) + V’(k) ( f(k) -\delta k -c ) ,}. $$ 我從未見過這個稱為 HJB 方程的方程(我可能缺少基本參考)。我將其稱為“動態規劃 PDE”。

您真正要問的是解決控制問題的兩種方法之間的聯繫——變分法/最優控制與動態規劃。最優控制(Pontryagin 的最大原理)是一階擾動參數,動態規劃原理是反向歸納參數。

“歐拉方程”源於一階微擾參數。(在連續時間中,它是經典的變分方程。在離散時間中,我只聽說過它用在經濟學中,描述跨期消費平滑,但它同樣是一個擾動論點。)

在連續時間中,最優路徑的一階擾動意味著沿著整個路徑的擾動。相反,在離散時間中,擾動單個週期就足夠了——因此可以通過簡單地對貝爾曼方程進行微分來獲得歐拉方程(例如,在確保價值函式可微性的 Benveniste-Scheinkman 假設下)。

在連續時間內,我不相信答案是微不足道的。然而,最優控制和動態規劃之間存在通過特徵方法的經典聯繫。部分聯繫是,如果值函式足夠平滑,則動態規劃 PDE 的特徵方程給出 Pontryagin 的最大原理。

在您的增長範例中,RHS 的最大化器由下式給出 $ u’(c^) = V’ $ . 然後代入一個隱式的一階 ODE $$ F(k, V, V’) = \rho V - u(c^( V’)) - V’\cdot( f(k) -\delta k) + V’ \cdot c^( V’) = 0. $$ 按照啟發式的特徵方法,特徵方程之一將是 $$ \begin{align} \frac{d}{dt} (V’) &= -\lambda (F_k + F_V V’) \ &= -\lambda (- V’ f’(k) + V’ \rho), \end{align*} $$ 對於一些 $ \lambda \geq 0 $ . 自從 $ u’(c^) = V’ $ , $$ \begin{align} \frac{d}{dt} \log (u’(c^)) &= -\lambda (F_k + F_V V’) \ &= \lambda ( f’(k) - \rho), \end{align} $$ 這是一個歐拉方程。

(順便說一下,ODE $ F(k, V, V’) $ 似乎不適合猜測和驗證,即使當 $ u(c) = \log c $ .)

引用自:https://economics.stackexchange.com/questions/43457