不確定性下單智能體選擇問題的最優策略
考慮以下不確定性下的單智能體選擇問題。
讓 $ V $ 在支持下成為世界的狀態 $ \mathcal{V} $ 和機率分佈 $ P_V\in \Delta(\mathcal{v}) $ . 一、讓大自然畫出一個實現 $ v $ 的 $ V $ 從 $ P_V $ . 然後，讓決策者選擇一個動作 $ y\in \mathcal{Y} $ ， 和 $ \mathcal{Y} $ 有限的，沒有觀察到的 $ v $ . 做出決定後，決策者將獲得回報 $ u(y,v) $ .
例如，假設 $ \mathcal{Y}\equiv {1,2,3} $ . $ V $ 是一個 $ 3\times 1 $ 隨機向量， $ V\equiv (V_1,V_2,V_3) $ . $ P_V $ 是三變數標準正態分佈。 $ u(y,v)\equiv v_y $ .
在這種情況下，決策者的最佳策略的定義是什麼？
我正在考慮對單代理設置使用“一種”貝氏納什均衡，即最優策略是 $ P_Y\in \Delta(\mathcal{Y}) $ 這樣， $ \forall y\in \mathcal{Y} $ 這樣 $ P_Y(y)>0 $ 和 $ \forall \tilde{y}\neq y $ , 我們有 $$ \sum_{v\in \mathcal{V}} u_i(y,v)P_V(v)\geq \sum_{v\in \mathcal{V}} u_i(\tilde{y},v)P_V(v) $$ 也就是說，在我的例子中， $$ \sum_{v\in \mathcal{V}} (v_y -v_{\tilde{y}}) P_V(v)\geq 0 $$
但也許人們使用的是純粹的策略？
存在性和唯一性是否明顯（至少在我的正態分佈範例中）？
您能否提供一個討論定義、存在、多重性的參考資料？
您的問題可以簡單地表示為 $$ \arg\max_{y\in\mathcal{Y}}\sum_{v\in\mathcal{V}}u_i(y,v)P_V(v) $$ 注意下標在 $ u_i $ 是不必要的。此外，這不是一個遊戲，因此“混合策略”僅在最大值不是唯一的情況下才是一種解決方案，但您不必擔心它們（稍後會詳細介紹）。
首先，請注意最大化問題等價於您提出的不等式。將其呈現為最大化問題更類似於您如何解決單個代理問題，並且避免了指定量詞的需要。但是，嚴格來說，它僅描述“純策略”（更好的術語是確定性動作），但這確實不失一般性。僅當最大化器不是唯一的時，機率動作才是合理的，在這種情況下 $ \arg\max $ 運算符已經給你一個集合，並且該集合中最大化器之間的任何混合都是最優的。
除了更清楚之外，將其呈現為最大化問題的另一個好處是，您可以使用標准定理來保證存在性和唯一性，例如，如果 $ \mathcal{Y} $ 那麼是有限的 $ \sum u(y,v)P_V(v) $ 是連續的 $ y $ （使用離散度量）和 Weierstrass 確保解決方案的存在。一般來說，你需要一個 $ \mathcal{Y} $ 緊湊且 $ \sum u(y,v)P_V(v) $ 連續在 $ y $ . 唯一性有點棘手，但如果 $ \sum u(y,v)P_V(v) $ 是嚴格凹的 $ y $ ，則保證唯一性。
在您的特定範例中，考慮到動作空間的有限性，存在是微不足道的，但不是唯一性。知道 $ P_V $ 正常是不夠的，因為我們對形狀一無所知 $ u(\cdot) $ .