貝爾曼方程中的未知數是什麼？
$$ \begin{align} V(W)=\max\limits_{W’\in[0,W]}\qquad& u(W-W’)+\beta V(W’)\qquad\forall W \end{align} $$
$ \textbf{My Question} $ : 為什麼貝爾曼方程中的未知數 $ V(W) $ 本身？選擇變數不就是明天的狀態， $ W’ $ ?
最初的問題可能是形式$$ \max_{{W_t}{t=1}^\infty}\sum{t=0}^\infty \beta^t u(W_t-W_{t+1}), $$ $$ \mbox{s.t. } W_{t+1}\in[0,W_t] \ \forall \ t, ~~ W_0 \mbox{ given} $$ 當以這種方式製定時，無需求解任何函式 $ V $ , 但序列的無限元素 $ {{W_t}}{t=1}^\infty $ 都是選擇變數。貝爾曼的主要見解是（在某些情況下）問題可以簡化。您可以求解單個“策略函式”，而不是求解無限數量的變數，該函式會根據目前狀態變數告訴您每個時期要做什麼，以及一個總結價值的“價值函式”（就今天而言）誘導未來每個可能的狀態。即使沒有不確定性，很明顯這個價值函式是一個內生對象，因為它必須以某種方式將未來的效用流擷取為未來狀態的單一函式。在您的情況下，該功能是 $ V(W’) $ . 這就是貝爾曼方程的原因： $$ V(W)=\max{W’\in[0,W]} u(W-W’)+\beta V(W’) $$ 有兩個屬性：
1）它缺少上的下標 $ W $ 的，這反映了你將解決 $ W’ $ 作為一個函式 $ W $ ，即策略函式。
- 有一個新對象， $ V $ ，這不在原始問題中，它是 $ W $ （或者 $ W’ $ ) 並且只需觀察這兩個問題，您就可以看到它們是等價的 $ V $ 必須是假設未來行動也是最優的未來收益的貼現總和。所以它不是一個選擇變數，而是一個你在解決問題時需要找到的內生對象。
您可以看到，最優選擇無限多個對象的問題被轉化為選擇有限數量 (2) 個函式的問題，這些函式是無限維對象。傑出的！