ハミルトン-ヤコビ-ベルマン方程式の解法; 最適化に必要かつ十分ですか？

以下の微分方程式検討状態であり制御変数。溶液は次式で与えられるここで

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$

x

$x$

u

$u$

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$

x_{0} := x (0)

$x_0:=x(0)$ は与えられた初期状態です。

次のプログラムを検討してください

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

のHJBを解いたとしましょう。最適な制御は、与えられ状態と制御最適な軌道を取得します。 $V$

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$

ウィキ記事は述べています

...しかし、状態空間全体にわたって解かれた場合、HJB方程式は最適な条件に必要かつ十分な条件です。

Bertsekas（2005）Dynamic Programming and Optimal Control、Vol 1、3rd ed。、Proposition 3.2.1では、解法 $V$ は最適なコストツーゴー関数であり、関連する $u^*$ が最適であると述べています。しかし、彼はそれを十分性定理として明示的に宣言しています。

実際、HJBを解決し、関連する状態と制御の軌道を回復した場合、追加の最適化条件を気にする必要がないことを確認したいだけです。

解決

私は試みます

HJB方程式自体により、最大原理から必要な条件を導き出すことができたと思います。

ハミルトニアンを定義する

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

その後、我々は

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

これは

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

任意の関数 $q:[0,\infty)\to\mathbb{R}$ を定義し $q(0)=\lim_{t\to\infty} q(t)=0$ 。修正

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

ここで、はパラメーターです。得られる最大化ハミルトニアンに用語を接続 $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

では、最適な解が得られます。したがって、を微分して、1次条件 $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

ここで、随伴変数を定義します

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

経時微分

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

であることに注意してください

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

すべてをプラグインに接続すると、

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

それはほとんどそれです。HJBを解くことは、最適化のために実際に必要かつ十分です（ここでは省略）。誰かがウィキに追加する必要があります。そのような問題について考えている人々の時間を節約するかもしれません（私は多くのことを考慮しません）。

ただし、横断条件はありません。

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

IIの試み

ペイオフ機能を定義する

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

なおの定義によって。中立の用語をペイオフ機能に追加します

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

正しい用語の一部とrhsの統合により、

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

その用語を再置換

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

定義

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

与える

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

最大 FOC $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

以来、およびとらわれないれる我々が持っている必要があり $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— 無知
ソース

必要十分条件をまだ特定しましたか？

— ジャムジー

これはどのような経済状況で起こりますか？

— スタンシャンパイク

たとえば、ラムジーモデルcer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— 無知

このスレッドは、実際にはeconにリンクされていないため、math.stackexchange.comに適していると思います。MODが転送する場合があります。

— 無知な

ここで何が尋ねられるのかわかりません：BertsekasごとにHJBを解くだけで十分であれば、「追加の最適条件を心配する」必要はありません。HJBが解決されなかった場合、「必要かつ十分」に対する「十分な」だけが生じます。その場合、「これは解決策がないという意味ではありません」と言うでしょう。ちなみに、ここでの試みIとIIは貴重なコンテンツです。最初はHJBとOptimal Controlの間のリンクを示し、2番目はOptimal Control FOCの導出方法を示しています。

— アレコスパパドプロス

（これはおそらくコメントと見なされるべきです。）

HJB方程式を解いた場合、最適な解を得るのに十分です。したがって、あなたは「他の最適条件に関心を持つ必要はありません」。あなたの質問に答えているように思われる。

あなたは定理の「必要な」要素を心配しているようです。ステートメントの必要性の側面は次のとおりです。最適なソリューションが存在する場合、HJB方程式のソリューションが存在する必要があります。

この特定の問題に取り組んだことはありませんが、一般的な答えは、微分可能な関数Vを期待していないということです。したがって、記載されている方程式の解はありません。代わりに、一般化された導関数を見て、HJB方程式を不等式に変換する必要があります。その場合、「粘度ソリューション」を取得できます。一般化されたデリバティブを使用するように拡張する場合、そのようなソリューションが常に存在することを証明することが可能かもしれません。あなたの証明を見ると、微分可能性を仮定しているので、それらは必要条件に役立ちません。

— ブライアン・ロマンチュク
ソース