なぜベースラインはあるタイムステップの状態に条件があるのか

ロボット工学では、強化学習手法はロボットの制御パターンを見つけるために使用されます。残念ながら、ほとんどのポリシーグラディエントメソッドは統計的にバイアスがかかっており、ロボットを危険な状況に陥らせる可能性があります。JanPetersとStefan Schaalの 2ページを参照してください。

モータープリミティブ学習では、ポリシーの勾配パラメーターの最適化が学習ステップを目標に導くため、問題を克服することができます。

引用：「勾配推定が偏りがなく、学習率がsum（a）= 0を満たす場合、学習プロセスは少なくとも極小値に収束することが保証されます[...]したがって、生成されたデータのみからポリシー勾配を推定する必要がありますタスクの実行中。」（同じ論文の4ページ）

Berkeley RLクラスの問題1 の宿題では、差し引かれたベースラインがタイムステップtでの状態の関数である場合、ポリシーの勾配が依然として不偏であることを示すように求められます。

私はそのような証明の最初のステップが何であるかについて苦労しています。誰かが私を正しい方向に向けることができますか？私の当初の考えは、何らかの形で総期待値の法則を使用して、b（st）の期待値をTに条件付きにすることでしたが、確信が持てません。前もって感謝します ：）

_{方程式の元のpngへのリンク}

反復期待の法則を使用すると、次のようになります。

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

積分で書かれ、勾配を内部に移動します（線形性）

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

$\nabla_\theta$$b(s_t)$$a_t$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$$a_t$$s_t$$1$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

$\nabla_\theta1 = 0$

宿題の期限はこの回答の執筆の2日前であるようですが、何らかの形でまだ関連がある場合は、関連するクラスノート（宿題と一緒に質問で提供された場合に役立つはずです）がここにあります。

$\mathbb{E}_{\tau \sim p \theta(\tau)}$

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

$\pi_\theta(a_t|s_t)$

この演習は、宿題の次のステップの準備であり、シラバスまたはクラスノートに完全期待の法則が含まれていないバークレーの機械学習入門コースCS189の復習のみを利用しています。

すべての関連情報は、上記のクラスノートのリンクにあり、中間代数のみが必要です。