強化学習におけるベルマンの方程式の導出

「強化学習：はじめに」に次の方程式がありますが、下の青色で強調表示されている手順にはあまり従いません。このステップはどのくらい正確に導出されますか？

これは、その背後にあるクリーンで構造化された数学について疑問に思っているすべての人の答えです（つまり、ランダム変数が何であるかを知っている人々のグループに属し、ランダム変数が密度を持っていることを表示または仮定する必要がある場合、これはあなたのための答え;-)）：

まず、マルコフ決定プロセスが有限数の報酬しか持たないようにする必要があります。つまり、密度の有限集合が存在し、それぞれが変数、つまりすべてのとマップについてような （すなわち、MDPの背後のオートマトンでは、無限に多くの状態が存在する可能性がありますが、状態間の無限の遷移に付随する可能性がある報酬分布のみが存在します）$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

定理1：（すなわち、積分可能な実確率変数）とし、を別の確率変数とし、が共通密度を持ち、 $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

証明：ステファンハンセンによってここで本質的に証明されました。

定理2：とし、をさらにランダム変数とし、が共通密度を持ち、 ここの範囲である。$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

証明：

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

置くと置くそれから、収束し、関数収束することを示すことができます（MDPには有限の報酬しかありません以下のままであるつもこと（単調収束定理の通常の組み合わせを使用して条件付き期待【の因数分解]のための定義式に収束を支配することによって）示すことができる（すなわち、積分） ここで、 $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ 使用、THM。上記の2、Thm。上の1、次に簡単疎外戦争、あるショーを使用して、そのすべての。ここで、方程式の両側に制限を適用する必要があります。制限を状態空間上の積分に引き込むために、いくつかの追加の仮定を行う必要があります。$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

状態空間が有限（その後で合計が有限）またはすべての報酬がすべて正（単調収束を使用）またはすべての報酬が負（その後マイナス記号を前に置く）等式および再び単調収束を使用します）またはすべての報酬が制限されます（そして、支配的な収束を使用します）。次に（上記の部分/有限ベルマン方程式の両側にを適用することにより）$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

そして残りは通常の密度操作です。

注：非常に単純なタスクでも、状態空間は無限になります！1つの例は、「ポールのバランスをとる」タスクです。状態は、本質的に極の角度（値で、数え切れないほど無限のセットです！）$[0, 2\pi)$

注：人々は「生地にコメントするかもしれませんが、の密度を直接使用して、 '...しかし...私の質問は次のようになります：$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. に密度があることを知っているのはなぜですか？$G_{t+1}$
2. がと共通の密度を持っていることさえ知っているのはなぜですか？$G_{t+1}$$S_{t+1}, S_t$
3. どうやって推測しますか？これはマルコフ特性だけではありません：マルコフ特性は周辺分布について何かを伝えるだけですが、これらは必ずしも分布全体を決定するわけではありません。$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

時間後に、割引報酬の合計をしてみましょうなる： $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

状態で開始するユーティリティ値は、状態以降で実行されるポリシーの 割引報酬予想合計に相当し ます。 定義に直線性の法則 法則により$s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
$\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
$= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$総期待 定義により直線性の法則により
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

プロセス満たすマルコフプロパティと仮定：
確率状態で終わるの状態から開始したと取らアクション、 および 状態が状態から開始し、アクション実行し場合の 報酬、 $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

したがって、上記のユーティリティ方程式を次のようにことができます。
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

どこ; ：確率的ポリシーに対して状態ときにアクションを実行する確率。決定論的ポリシーの場合、$\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

これが私の証拠です。条件付き分布の操作に基づいているため、簡単に追跡できます。これがお役に立てば幸いです。

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ これは有名なベルマン方程式です。

次のアプローチとは何ですか？

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

合計は、取得するために導入され 及びから。結局のところ、可能なアクションと可能な次の状態はになります。これらの追加の条件により、期待値の直線性はほぼ直接結果につながります。$a$$s'$$r$$s$

しかし、私の議論が数学的にどれほど厳密かはわかりません。私は改善のために開いています。

これは、受け入れられた答えに対する単なるコメント/追加です。

私は完全な期待の法則が適用されている行で混乱していました。ここでは、総期待法の主な形式が役立つとは思わない。ここでは実際にそのバリアントが必要です。

場合は確率変数と、すべての期待が存在すると仮定され、次のアイデンティティが成り立ちます：$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

この場合、、およびです。それから$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$、マルコフの特性により$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

そこから、答えの残りの証拠をたどることができます。

$\mathbb{E}_\pi(\cdot)$は通常、エージェントがポリシー従うことを前提とする期待を示します。この場合、は非決定的と思われます。つまり、状態ときにエージェントがアクションを実行確率を返します。$\pi$$\pi(a|s)$$a$$s$

小文字のは、ランダム変数置き換えているようです。2番目の期待値は無限の合計に置き換わり、将来のすべてのについてをたどり続けるという仮定を反映しています。は、次のタイムステップで予想される即時報酬です。2番目の期待値（なります）は、次の状態の期待値であり、状態でからをとる確率で重み付けされます。$r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

したがって、期待値は、ここではとして一緒に表される遷移関数と報酬関数だけでなく、政策確率も考慮します。$p(s', r|s,a)$

正しい答えがすでに与えられ、時間が経ったとしても、次のステップバイステップガイドが役立つと思いまし
た。期待値の線形性により、 をおよび変換し ます。 最初の部分のみの手順の概要を説明します。2番目の部分の後には、期待値の法則と同じ手順が続きます。$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

（III）は次の形式に従います：

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

私はすでに受け入れられた答えがあることを知っていますが、おそらくより具体的な派生を提供したいと思います。@Jie Shiのトリックは多少理にかなっていますが、非常に不快に感じます:(。この仕事をするために時間の次元を考慮する必要があります。そして、期待が実際にあることに注意することが重要ですとだけではなく、無限の地平線全体を撮影しますから開始すると仮定し（実際、派生は開始時間に関係なく同じです。方程式を別の添字で汚染したくありません。） $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ 上記の式がでも保持されることに注意、、宇宙の終わりまでは真になります（少し誇張されているかもしれません:)）$T\rightarrow\infty$
この段階で、私たちのほとんどは、上記が最終式にどのようにつながるかをすでに心に留めているべきだと思います-合計積の規則（）を苦労して適用するだけです。内の各項に期待の線形性の法則を適用してみましょう$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

パート1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

まあ、これはかなり些細なことで、関連するものを除いて、すべての確率が消えます（実際には合計1）。したがって、 $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

パート2
推測してください。このパートはさらに簡単です。合計のシーケンスを再配置するだけです。

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

そしてエウレカ!! 大きな括弧の内側で再帰的なパターンを回復します。これをと、を取得し およびパート2は $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

パート1 +パート2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

そして、今度は時間ディメンションを押し込み、一般的な再帰式を復元できます

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

最後の告白、私は上記の人々が総期待の法則の使用に言及しているのを見て笑った。だからここにいる

この質問に対する答えはすでに非常に多くありますが、ほとんどの場合、操作で何が起こっているかを説明する単語はほとんど含まれていません。もっと多くの言葉を使って答えようと思う。始めること、

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

は、サットンとバルトの方程式3.11で定義され、一定の割引係数を持ち、またはがありますが、両方はありません。報酬は確率変数であるため、も確率変数の単なる線形結合であるためです。$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

その最後の行は、期待値の線形性から続きます。 は、時間ステップアクションを実行した後にエージェントが獲得する報酬です。簡単にするため、有限数の値を取ることができると仮定します。 $R_{t+1}$$t$$r \in \mathcal{R}$

第1期に取り組みます。つまり、現在の状態があることがわかっている場合、の期待値を計算する必要があります。この式は$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

言い換えれば、報酬が現れる確率は状態左右されます。州によって報酬が異なる場合があります。この分布は、変数と、時刻実行されたアクション、アクション後の時刻状態もそれぞれ含んでいた分布の周辺分布です。$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

どこで使用している書籍のコンベンション以下に、。その最後の等式が混乱している場合、合計を忘れ、抑制し（確率は結合確率のようになります）、乗算の法則を使用し、最終的にすべての新しい項での条件を再導入します。最初の用語は$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

要求に応じ。2番目の項では、が有限数の値を取るランダム変数であると仮定します。最初の用語のように：$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

もう一度、書くことで確率分布を「非境界化」します（再び乗算の法則）

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

そこの最後の行は、マルコフ性からのものです。は、状態後にエージェントが受け取るすべての将来（割引）報酬の合計であることを忘れないでください。マルコフ特性は、プロセスが以前の状態、アクション、および報酬に関してメモリレスであることです。将来のアクション（およびそれらが獲得する報酬）は、アクションが実行される状態にのみ依存するため、仮定によりとなります。さて、証明の第2項は$G_{t+1}$$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

必要に応じて、もう一度。2つの用語を組み合わせると証明が完了します

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

更新

私は、第2期の派生において手品のように見えるかもしれないものに取り組みたいと思います。でマークされた式では、私は用語の使用し、後で式マークで私はその主張に依存しないマルコフプロパティを主張することにより、。したがって、これが当てはまる場合、と言うことができます。しかし、これは真実ではありません。私が取ることができますその文の左側にある確率は、これが確率されていることを言うので上の条件、、、および$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$。状態知っているか仮定しているため、マルコフ特性のため、他の条件は重要ではありません。状態知らない、または仮定しない場合、将来の報酬（の意味）はどの状態で開始するかによって決まります。これは、計算時にどの状態を開始するかを（ポリシーに基づいて）決定するためです。$s'$$s'$$g$$s'$$g$

その引数があなたを納得させないなら、が何であるかを計算してみてください：$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

最後の行に見られるように、であるとは言えません。の期待値は、状態がわからない場合や仮定しない場合、どの状態で開始するか（つまりの識別情報）によって異なります。$p(g|s) = p(g)$$g$$s$$s'$