強化学習におけるブートストラップとは正確には何ですか？

どうやら、強化学習では、時間差（TD）メソッドはブートストラップメソッドです。一方、モンテカルロ法はブートストラップ法ではありません。

RLのブートストラップとは何ですか？RLのブートストラップ方法とは何ですか？

reinforcement-learning

— nbro
ソース

RLのブートストラップは、「同じ種類の更新ステップで1つ以上の推定値を使用する」と読むことができます。の推定値。

ほとんどのTD更新ルールでは、次のSARSA（0）更新のようなものが表示されます。

Q (s, a) \leftarrow Q (s, a) + α (R_{t + 1} + γ Q (s^{'}, a^{'}) - Q (s, a))

$Q(s,a) \leftarrow Q(s,a) + \alpha(R_{t+1} + \gamma Q(s',a') - Q(s,a))$

値 $R_{t+1} + \gamma Q(s',a')$ 真の値の推定値である $Q(s,a)$ 、またTDターゲットと呼ばれます。一部Q値を使用して別のQ値を更新しているため、これはブートストラップ方式です。 $R_{t+1}$ 形で実際に観測された少量のデータがあり、これはステップに対する即時の報酬であり、状態遷移 $s \rightarrow s'$ ます。

同等の更新ルールが存在する可能性のあるモンテカルロとは対照的です。

Q (s, a) \leftarrow Q (s, a) + α (G_{t} - Q (s, a))

$Q(s,a) \leftarrow Q(s,a) + \alpha(G_{t} - Q(s,a))$

ここで、 $G_{t}$ は時点 $t$ での合計割引報酬で、この更新では、状態 $s$ で開始し、アクション $a$ を開始し、その後、エピソードの終わりまで現在のポリシーに従いました。技術的には、 $G_t = \sum_{k=0}^{T-t-1} \gamma^k R_{t+k+1}$ $T$ ターミナルの報酬と状態のタイムステップです。特に、この目標値は（他のQ値からの）既存の推定値をまったく使用せず、環境からの一連の観測（つまり報酬）のみを使用します。そのため、技術的にはサンプルであるため真の値の不偏推定値であることが保証されます。 $Q(s,a)$ $Q(s,a)$

ブートストラップの主な欠点は、 $Q(s',a')$ （または $V(s')$ ）の開始値が何であろうと偏るということです。これらはおそらく間違いであり、自己参照が多すぎて実際のデータが不足しているため、更新システム全体が不安定になる可能性があります。これは、ニューラルネットワークを使用したポリシー外学習（Qラーニングなど）の問題です。

ブートストラップを使用せずに、より長い軌道を使用すると、多くの場合、代わりに大きな変動が生じます。これは、実際には、推定値が収束する前により多くのサンプルが必要であることを意味します。そのため、ブートストラップの問題にもかかわらず、機能させることができる場合、学習が大幅に速くなる可能性があり、モンテカルロアプローチよりも好まれます。

モンテカルロのサンプルベースの方法と、異なる長さの軌跡の結果を組み合わせて使用することにより、ブートストラップするシングルステップTD方法との間で妥協することができます。これはTD（ $\lambda$ ）学習と呼ばれ、SARSA（ $\lambda$ ）やQ（ $\lambda$ ）などのさまざまな特定の方法があります。

— ニール・スレーター
ソース

これはおそらく別の質問になるはずです。しかし、あなたが答えにしたい場合は、なぜ正確である

R_{t + 1} + γ Q (s^{'}, a^{'})

$R_{t+1} + \gamma Q(s',a')$ との推定値

？

Q (s, a)

$Q(s, a)$

— nbro

Q (s, a) = E [R_{t + 1} + γ Q (S_{t + 1}, A_{t + 1}) | S_{t} = s, A_{t} = a]

$Q(s,a) = \mathbb{E}[R_{t+1} + \gamma Q(S_{t+1},A_{t+1}) | S_t = s, A_t =a]$

s

$s$

a

$a$

Q (S_{t + 1}, A_{t + 1})

$Q(S_{t+1},A_{t+1})$

λ - T D

$\lambda-TD$

λ

$\lambda$

λ

$\lambda$

λ

$\lambda$

λ = 1

$\lambda = 1$

0.4

$0.4$

λ

$\lambda$

@NeilSlater、ブートストラップを使用する場合、収束できますか？Q（s '、a'）は単なる任意の推測であり、Q（s、a）の推定値を歪めるため、なぜそうすべきかを理解できません。また、なぜTDに比べてMCの分散が大きいのですか？

— d56

一般に、RLのブートストラップは、正確な値ではなく推定値に基づいて値を更新することを意味します。例えば

インクリメンタルモンテカルロポリシー評価の更新：

$V(S_t) = V(S_t) + \alpha(G_t - V(S_t))$

TD（0）ポリシー評価の更新：

$V(S_t) = V(S_t) + \alpha(R_{t+1} + \gamma V(S_{t+1}) - V(S_t))$

$s$ $R_{t+1} + \gamma V(S_{t+1})$ $G_t$

— プロップ
ソース