複数の連続アクションの場合にポリシーの勾配をどのように適用できますか？

Trusted Region Policy Optimization（TRPO）とProximal Policy Optimization（PPO）は、2つの最先端のポリシーグラディエントアルゴリズムです。

単一の連続アクションを使用する場合、通常、損失関数に確率分布（たとえば、ガウス分布）を使用します。大まかなバージョンは次のとおりです。

どこ$A$報酬の利点である、$P(a_1)$によって特徴付けられる$\mu$と$\sigma^2$ここでは振り子の環境にいるかのように、ニューラルネットワークから出てくるもの：https://github.com/leomzhong/DeepReinforcementLearningCourse/blob/69e573cd88faec7e9cf900da8eeef08c57dec0f0/hw4 /main.py。

問題は、ポリシーグラディエントを使用した2+連続アクションに関する論文が見つからないことです（Q関数からグラディエントを転送することで別のアプローチを使用する俳優批評家のメソッドではありません）。

LunarLander環境で2つの連続アクションにTRPOを使用してこれを行う方法を知っていますか？

次のアプローチは、政策勾配損失関数に対して正しいですか？

既に述べたように、Actor-Criticが選択するアクションは通常、正規分布からのものであり、現在の状態に基づいて適切な平均と標準偏差を見つけるのがエージェントの仕事です。多くの場合、必要な継続アクションは1つだけなので、この1つの分布で十分です。ただし、ロボット工学などのドメインがAIとより統合されるようになるにつれて、2つ以上の継続的なアクションが必要な状況がますます問題になっています。

この問題には2つの解決策があります。最初で最も一般的なのは、すべての連続アクションに対して、独自の1次元平均と標準偏差を学習する個別のエージェントが存在することです。その状態の一部には、他のエージェントのアクションも含まれ、システム全体の動作のコンテキストを提供します。私たちのラボでは通常、これを行います。ここでは、ロボットアームを動かすために3人の俳優批評家が協力してこのアプローチを説明する論文を紹介します。

$n$$2n$$n+n^2$$n$$n \times n$

これはより一般的な答えですが、関連する問題であなたや他の人を助けるはずです。