ベルマン方程式の解は固定小数点です

私は最近、動的最適化の研究を始めました。ベルマン方程式の値関数が収縮マッピングの不動点であるという事実に頭を悩ますことはできません。私の理解はかなり単純です：問題が有限であれば、次のように言います： 可能な最大値を知っているかのように、最後からベルマン方程式を構築します事前にシーケンス。最後の期間から開始して、期間到達するまで、現在の期間ユーティリティ反映する最適な項を追加することにより、最大化を繰り返しますTU（CT）0（BのV）（X）（BのV）（X）=V（X

$$\sum_{t=0}^T \beta^tu(c_t)$$ $T$$u(c_t)$$0$。ここから、収縮マッピングがどのように機能するかを明確に見ることができます。しかし、無限のケースを理解するのはそれほど簡単ではありません：ベルマン演算子反復により、値関数が見つかるまでポリシー関数の「キャリブレーション」を実行することしか想定できません（つまり、私たちの横断性条件与えられた最大の可能なユーティリティ）。少なくとも、私は正しい方向に考えていますか、それともこの考えは別の方法で理解されるべきですか？前もって感謝します。（また、これは.stackexchangeに関する私の最初の質問です。私の質問の表示に問題がある場合は、教えてください）$(Bv)(x)$$(Bv)(x)=v(x)$

私は決してこれに関する専門家ではありませんが、おそらくこれが役立つでしょう。ベルマン方程式の簡単な例を示します

$V(y) = \max_x u(x,y) + \beta V(y')$

$s.t. \, y' = f(x,y)$

これは、未知の関数Vの関数方程式です。この問題の解決策は、上記の方程式を満たす関数Vです。方程式を見ると、解がベルマン方程式のRHS上の演算子の不動点でなければならないことは明らかです。正しいVと任意のyを取り、計算する場合

$\max_x u(x,y) + \beta V(y')$

$s.t. \, y' = f(x,y)$

を取得します。ベルマン方程式のRHSである演算子は関数で動作し、解はいくつかの関数空間の固定小数点です。$V(y)$

この不動点が存在するかどうか、およびそれを見つける方法は別の質問です。ここで、縮約写像定理に訴えます：uの典型的な仮定の下で与えられた場合、上記の最大化ステップはVの推測に対する縮約写像です。これは、一意の固定点Vが存在することを意味します。連続した反復でそれを見つけます。$\beta<1$