タグ付けされた質問 「dynamic-programming」

3
最適制御が失敗したとき(?)
「質問をする」ためには、まずモデルを解かなければなりません。いくつかの手順を省略しますが、それでもこの投稿を非常に長くすることは避けられないので、これはこのコミュニティがそのような質問を好むかどうかを確認するテストでもあります。 始める前に、これは連続時間では標準的な新古典主義の成長モデルのように見えるかもしれませんが、そうではないことを明確にします。それは、彼の周りの経済、モデル化されていません。ここでのフレームワークは、「単一の個人の最大化問題への最適制御の適用」です。これは、Optimal Controlソリューションのフレームワークと方法自体に関するものです。 私たちは、彼の会社の資本を所有している小さなビジネスマンが、完全に競争の激しい労働市場で労働サービスを購入し、完全に競争の激しい商品市場で彼の製品(新鮮なドーナツ)を販売するという、異時点間のユーティリティ最大化問題を解決します モデルを不確実性なしで(社会経済的条件が安定している)連続時間で設定し、無限の地平線で(ビジネスマンは彼の多くの将来のコピーを連続して想定しています): 最大c 、ℓ 、k∫∞0e- ρ トンlncd tstk˙= f(K 、ℓ )- W ℓ - δk − cリムt → ∞e- ρ トンλ (t )k (t )= 0最大c、ℓ、k∫0∞e−ρtln⁡cdtstk˙=f(k、ℓ)−wℓ−δk−cリムt→∞e−ρtλ(t)k(t)=0\max_{c,\ell,k}\int_0^{\infty}e^{-\rho t}\ln c\,\text{d}t\\ \text{s.t.}\;\; \dot k = f(k,\ell) - w\ell - \delta k - c\\ \lim_{t\rightarrow \infty}e^{-\rho t}\lambda(t) k(t) = 0 ここで、cccはビジネスマンの消費、lncln⁡c\ln …

1
ハミルトン-ヤコビ-ベルマン方程式の解法; 最適化に必要かつ十分ですか?
以下の微分方程式検討 xは状態であり、U制御変数。溶液は次式で与えられる X (T )= X 0 + ∫ T 0 F (X (複数可)、U (S ))D S 。 ここでxx˙(t)=f(x(t),u(t))x˙(t)=f(x(t),u(t))\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}xxxuuux(t)=x0+∫t0f(x(s),u(s))ds.x(t)=x0+∫0tf(x(s),u(s))ds.\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}x0:=x(0)x0:=x(0)x_0:=x(0)は与えられた初期状態です。 次のプログラムを検討してください s.t. V(x0):=maxu∫∞0e−ρtF(x(t),u(t))dtx˙(t)=f(x(t),u(t))x(0)=x0V(x0):=maxu∫0∞e−ρtF(x(t),u(t))dts.t. x˙(t)=f(x(t),u(t))x(0)=x0\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}ρ>0ρ>0\rho > 0V(⋅)V(⋅)V(\cdot)F(⋅)F(⋅)F(\cdot)ρV(x)=maxu[F(x,u)+V′(x)f(x,u)],∀t∈[0,∞).ρV(x)=maxu[F(x,u)+V′(x)f(x,u)],∀t∈[0,∞).\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall …


1
推測と検証
動的計画法では、未決定係数の方法は「推測と検証」として知られています。私は定期的に推測することがあると聞いています。 特に、私は見た V(k)=A+Bln(k)V(k)=A+Bln⁡(k)V(k) = A + B\ln(k) V(k)=Bk1−σ1−σV(k)=Bk1−σ1−σV(k) = \frac{Bk^{1-\sigma}}{1-\sigma} 前者はログユーティリティに適用され、後者はCRRA設定に関連します。 他にどのような標準的な推測が存在しますか?これらは一般的に特定の形式の戻り関数に結び付けられていますか? 編集:動的プログラムに慣れていない人のために、ここでやろうとしていることは、係数の閉じた形式(例: と)を考え出すことです。単純化するため、関数方程式は通常、一般的な形式ここで、g(\ cdot、\ cdot)は状態変数kの進化を記述します。本質的に、今日状態kにある値は、今日のリターン関数F(k、u)と、明日になるkの割引値\ beta V \ bigl(g(k、u)\ bigr)に依存します。 あなたはAAABBBV(k)=max{F(k,u)+βV(g(k,u))}V(k)=max{F(k,u)+βV(g(k,u))}V(k) = \max\bigl\{F(k,u) +\beta V\bigl(g(k,u)\bigr)\bigr\}g(⋅,⋅)g(⋅,⋅)g(\cdot,\cdot)kkkkkkF(k,u)F(k,u)F(k,u)kkkβV(g(k,u))βV(g(k,u))\beta V\bigl(g(k,u)\bigr)uuu リターンに影響すると思われる他の非状態変数を表します。 V(k)の閉じた形式の解を得ることができる場合がありV(k)V(k)V(k)ます(...注:右辺が最大化された量なので、V(k)を解くだけではありませんV(k)V(k)V(k))。これには通常、戻り関数F(k、u)について何かを知ってから、V(k)のF(k,u)F(k,u)F(k,u)関数形式について推測することが含まれます。次に、推測によりV(k)の閉形式の解が得られるかどうかを確認します。特に、これには推測の係数の閉じた形式が含まれます(したがって、未決定の係数の方法)。V(k)V(k)V(k)V(k)V(k)V(k)

1
ベルマン方程式の解は固定小数点です
私は最近、動的最適化の研究を始めました。ベルマン方程式の値関数が収縮マッピングの不動点であるという事実に頭を悩ますことはできません。私の理解はかなり単純です:問題が有限であれば、次のように言います: 可能な最大値を知っているかのように、最後からベルマン方程式を構築します事前にシーケンス。最後の期間から開始して、期間到達するまで、現在の期間ユーティリティ反映する最適な項を追加することにより、最大化を繰り返しますTU(CT)0(BのV)(X)(BのV)(X)=V(X)∑t = 0Tβtu (ct)∑t=0Tβtu(ct)\sum_{t=0}^T \beta^tu(c_t)TTTu (ct)u(ct)u(c_t)000。ここから、収縮マッピングがどのように機能するかを明確に見ることができます。しかし、無限のケースを理解するのはそれほど簡単ではありません:ベルマン演算子反復により、値関数が見つかるまでポリシー関数の「キャリブレーション」を実行することしか想定できません(つまり、私たちの横断性条件与えられた最大の可能なユーティリティ)。少なくとも、私は正しい方向に考えていますか、それともこの考えは別の方法で理解されるべきですか?前もって感謝します。(また、これは.stackexchangeに関する私の最初の質問です。私の質問の表示に問題がある場合は、教えてください)(B v )(x )(Bv)(x)(Bv)(x)(B v )(x )= v (x )(Bv)(x)=v(x)(Bv)(x)=v(x)

0
確率的動的計画法:宝くじの定常状態の導出
McCandless著(2008年)の本の確率的RBCモデルの基本的な例に取り組んでいます:The ABCs of RBCs、pp。71-75 標準的な確率的動的計画問題 基本的な確率的動的プログラミングモデルの定式化はとおりです。 yt=Atf(kt)yt=Atf(kt)\begin{equation} y_t = A^t f(k_t) \end{equation} At={A1 with probability pA2 with probability (1−p)At={A1 with probability pA2 with probability (1−p)\begin{equation} A^t = \cases{A_1 \text{ with probability } p \\ A_2 \text{ with probability } (1 - p) } \end{equation} kt+1=Atf(kt)+(1−δ)kt−ctkt+1=Atf(kt)+(1−δ)kt−ct\begin{equation} k_{t+1} = A^tf(k_t) + (1 …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.