最優控制

HJB 的多種解決方案,如何確定最佳的“粘度”解決方案?

  • July 27, 2021

考慮確定性消費儲蓄問題:

$ V(a_t)

\underset{c}{\max} \int_{\tau =t}^{\tau = \infty} e^{-\rho (\tau - t) } u(c_{\tau}) d\tau $ 在/ $ u(c)=\frac{c^{1-\gamma}-1}{1-\gamma} $ 和 $ \gamma, \rho >0 $

英石

$ \frac{da}{d\tau} = \left( r a_{\tau} - c_{\tau} \right) $

初始條件: $ a(0)=a_0 $ 給定

終端條件: $ \underset{t\to\infty}{\lim} e^{-\rho t} \lambda(t) a_{t} =\underset{t\to\infty}{\lim} e^{-\rho t} u’(c_{t}) a_{t} =\underset{t\to\infty}{\lim} e^{-\rho t} V_{a}(a_{t}) a_{t} =0 $

讓我們將上面的優化問題稱為“序列問題” SP & 表示解決方案的集合 $ \text{Sol}(\textbf{SP}):= {V(a_t), c(a_t): \text{solve }\textbf{SP} } $ .

在正常假設下 $ \text{Sol}(\textbf{SP}) $ 是一個包含一個元素的集合。

使用哈密頓量,我們可以求解封閉形式的兩個 BV-ODE 系統。

定義: $ \omega \equiv \left(\frac{r-\rho}{\gamma}\right) $

$ c(a_{t}) = \left(r - \omega \right) \times a_{t} $

$ a_{t}=a_{0}e^{\omega t} $

$ \text{TVC: } \underset{t\to\infty}{\lim} e^{-\rho t} u’(c_{t}) a_{t}

\underset{t\to\infty}{\lim} e^{-\rho t} \left( (r - \omega)a_{t} \right)^{-\gamma} a_{t}

\underset{t\to\infty}{\lim} e^{-\rho t} \left( a_{t} \right)^{1-\gamma}

\underset{t\to\infty}{\lim} e^{-\rho t} \left( a_{0}e^{\omega t} \right)^{1-\gamma}

\underset{t\to\infty}{\lim} e^{-\rho t} e^{(1-\gamma) \omega t}

\underset{t\to\infty}{\lim} e^{-(\rho - (1-\gamma) \omega ) t} =0 \Leftrightarrow \rho - (1-\gamma) \omega >0 $

筆記: $ \rho - (1-\gamma) \omega = r - \omega $ TVC 舉行 $ \Leftrightarrow \rho - (1-\gamma) r >0 $

$ V(a_{t}) = \frac{-1}{(1-\gamma)\rho} + \frac{1}{\rho - (1-\gamma)\omega} \frac{\left( \left(r - \omega \right) \times a_{t} \right)^{1-\gamma} }{1-\gamma} $

筆記: $ V_{a}= \frac{\left(r - \omega \right)}{\rho - (1-\gamma)\omega} \left( \left(r - \omega \right) \times a_{t} \right)^{-\gamma}

\left( \left(r - \omega \right) \times a_{t} \right)^{-\gamma} \Rightarrow c(a_t) =u’^{-1}(V_a) $

HJB : $ \rho V(a_t) = \underset{c}{\max} { u(c_{t}) + V_a \times (r a_{t} - c_{t}) } $

表示解決方案的集合 $ \text{Sol}(\textbf{HJB}) $ .

功能: $ u’(c_{t}) - V_a =0 \Rightarrow c(a_t) = (V_a)^{-\frac{1}{\gamma}} \Rightarrow V_a > 0 $

插入: $ \Rightarrow u(c) - cV_a

\frac{\gamma (V_a)^{1-\frac{1}{\gamma}}}{1-\gamma} - \frac{1}{1-\gamma} $

社會保障委員會: $ u’’(c_{t})<0 \Rightarrow u’’\left( (V_a)^{-\frac{1}{\gamma}} \right)<0 $

我們可以結合這些 eqns(最大化 HJB 和 FONC)

$ \left[\begin{array}{l} \rho V(a_{t}) = u(c_{t}) + V_{a}(a_{t})\times \left(ra_{t} - c_{t} \right) \ c(a_{t}) = (V_{a}(a_{t}))^{-\frac{1}{\gamma}} \end{array} \right] \Leftrightarrow \left[\begin{array}{l} \rho V(a_{t}) = \frac{\gamma (V_a)^{1-\frac{1}{\gamma}}}{1-\gamma}

  • \frac{1}{1-\gamma}
  • V_a \times r a_{t} \end{array} \right] $

來自: $ \rho V(a_t)

\frac{\gamma (V_a)^{1-\frac{1}{\gamma}}}{1-\gamma} - \frac{1}{1-\gamma}

  • V_a \times r a_{t} $

表示解決方案的集合 $ \text{Sol}(\textbf{DE}) $ .

DE是具有多個解的非線性方程(一階 ODE) $ V(a_t) $ .

  • 太陽1: $ V(a)=\frac{1}{\rho (\gamma-1)} $ , 求解DE , 如果 $ \gamma>1 $

注意:雖然 Sol 1 解決了DE,但它不解決 $ \max $ HJB的一部分,例如添加 $ V_a >0 $ 到DE將排除 Sol 1,但此條件不足以將 sol 固定到SP

  • 太陽2: $ V(a)=B_0 + B_1 a $ , 求解DE , 如果 $ r=\rho $ 和 $ \rho B_0 = \frac{\gamma (B_1)^{1-\frac{1}{\gamma}}}{1-\gamma} - \frac{1}{1-\gamma} $ .

注:條件 $ V_a>0 $ 如果滿足 $ B_1 >0 $ .

  • Sol 3:Walde 2010在我不完全理解的註釋中聲稱這個問題也有一個嚴格的凸解(我認為)
  • 太陽4: $ V(a_{t}) = \frac{-1}{(1-\gamma)\rho} + \frac{1}{\rho - (1-\gamma)\omega} \frac{\left( \left(r - \omega \right) \times a_{t} \right)^{1-\gamma} }{1-\gamma} $ , 解決DE

我們有: $ \text{Sol}(\textbf{SP}) \subseteq \text{Sol}(\textbf{HJB}) \subseteq \text{Sol}(\textbf{DE}) $

Q1:什麼條件 $ V(a) $ 需要滿足 st DE的解也是優化問題SP的解?

  • 我對假人粘度的理解是,雖然DE有很多解決方案,但最佳解決方案是唯一的“粘度解決方案”

Q2為什麼上面的常數和仿射溶液不滿足粘度溶液的條件?

-“傻瓜粘度”的作者沒有提供帶有多個封閉形式解決方案的 HJB 的簡單範例,並且僅顯示滿足屬性的最佳解決方案

Q1 的答案:

如果我們將 FONC 重寫為 $ a $ : $ u’(c(a))-V_{a} =0 $

區分wrt $ a $ (如瓦爾德 2010 年): $ u’’(c(a)) c’(a) -V_{aa} =0 $

我們從 SOSC 得知 $ u’’(c(a))<0 $ .

如果我們假設消費正在增加財富 $ c’(a)>0 $ , 然後 $ V_{aa}<0 $

$ \left[\begin{array}{l} \rho V(a_{t}) = \frac{\gamma (V_a)^{1-\frac{1}{\gamma}}}{1-\gamma}

  • \frac{1}{1-\gamma}
  • V_a \times r a_{t} \ V_{a}(a_{t}) >0 \text{ FONC: for max to be well defined} \ V_{aa}(a_{t}) <0 \text{ differentiate FONC & SOSC} \end{array} \right] $

一些評論:

  • 我覺得夠了 $ V_a>0, V_{aa}<0 $ 保持在一個點
  • 我相信如果我們將這兩個條件(增加和凹值)添加到DE,我們可以在這個非泛型範例中確定唯一的最佳 sol。我無法證明DE

沒有其他解決方案 $ V_a>0, V_{aa}<0 $ .

我真的很想知道這些條件如何推廣到更一般的經濟問題。

  • $ V_a>0 $ 排除 Sol 1
  • $ V_{aa}<0 $ 排除 Sols 2 和 3
  • 這些條件並不像 $ a(0)=a_0 $ 和電視廣告。
  • 由於DE是一階非線性 ode,我相信我們要麼需要一個方程,例如 $ V(a_{1})=V_1 $ , 或兩個不等式 ( $ V_a>0, V_{aa}<0 $ ) 來確定一個獨特的溶膠。

(我不確定。這可能只適用於“好”的頌歌。知道的人可以幫忙嗎?)

由於DE是一階的,我不喜歡依賴帶有二階導數的邊界條件 $ V_{aa}<0 $

  • Achdou Hans Lasry Lions Moll添加了不綁定的邊界條件 $ a_t \geq \underline{a} $ 在哪裡 $ \underline{a}<0 $ 並使用“狀態邊界條件” $ V_a(\underline{a}) \geq u’(r\underline{a}) $ .

問題:如果 $ \gamma \in (0,1) $ 然後 $ u’(r\underline{a}) $ 可能不是一個實數。

即使在數值上他們的方法收斂到唯一的溶膠,理論上一個不等式是否足夠?

這是否排除了上面的仿射解決方案?

這如何推廣到一般問題?

  • 最重要的是,為什麼上面的常數和仿射解不滿足粘度解的條件?為什麼最優溶膠能滿足它們?

也許我在這裡完全錯了(鑑於我根本不需要談論粘度解決方案),但在標準表示定理中,您有一個終端/極限條件,即 HJB 的解決方案必須滿足它才能成為價值函式。這涉及檢查任何可接受的控制, $$ \lim_{T \to \infty} E[ e^{-\rho T} V(a_T)] = 0 $$ 您對 DE 的仿射解決方案顯然違反了這一點 $ r = \rho $ .

引用自:https://economics.stackexchange.com/questions/45944