強化学習で無効な動きを処理する方法は？

5列/五目並べをプレイできるAIを作りたい。タイトルで述べたように、これには強化学習を使用します。

私は、使用ポリシー勾配すなわちベースラインと、補強、方法。値とポリシー関数の近似には、ニューラルネットワークを使用します。畳み込み層と完全に接続された層があります。出力を除くすべてのレイヤーが共有されます。ポリシーの出力層には、（ボードのサイズ）出力ユニットとsoftmaxがあります。したがって、確率的です。しかし、ネットワークが無効な移動の可能性が非常に高い場合はどうでしょうか？無効な移動とは、エージェントが1つの「X」または「O」を含む正方形をチェックしたい場合です。私はそれがそのゲーム状態で立ち往生できると思います。$8 \times 8=64$

この問題の解決策をお勧めしますか？

私の推測では、俳優と批評家の方法を使用することです。無効な動きについては、負の報酬を与え、相手にターンを渡す必要があります。

無効な動きを無視してください。

探索の場合、最も高い確率で移動を実行するだけでなく、出力された確率に基づいてランダムに移動を選択する可能性があります。違法な動きのみを処罰する場合、それらはある程度の確率を保持します（しかし、わずかですが）ため、時々実行されます（しかし、めったにありません）。したがって、あなたは常に違法な動きをするエージェントを常に保持します。

私にとっては、すべての違法な動きの確率をゼロに設定し、動きを選択する前に出力ベクトルを再正規化する方が理にかなっています。

$a$$\theta$$\phi$$s$$A$

$Legal(A)$

擬似コードでは、式は次のようになります。

action_probs = Agent.getActionProbs(state)
legal_actions = filterLegalActions(state, action_probs)
best_legal_action = softmax(legal_actions)

線形関数近似または非線形関数近似（ニューラルネットワーク）を使用するかどうかにかかわらず、アイデアは、ソフトマックスを計算するときに合法的な動きのみを使用することです。この方法は、有効な動きのみがエージェントによって与えられることを意味します。これは、後でゲームを変更したい場合に適しています。また、アクションの制限された選択の価値の違いは、エージェントによって識別しやすくなります。また、可能なアクションの数が減るにつれて高速になります。

私見では、無効な動きのアイデア自体は無効です。座標に「X」を配置することを想像してください(9, 9)。あなたはそれを無効な動きであると考え、それに負の報酬を与えることができます。不条理？もちろん！

しかし、実際には、無効な動きは表現の遺物にすぎません（それ自体は簡単で素晴らしいです）。それらの最善の処理は、計算から完全に除外することです。

これはチェスでより明らかになります：

• 位置表現ではa1-a8、ルークまたはクイーンがいるa1（および他の条件が満たされている）場合にのみ、ゲームに属するmoveを考慮することができます。

• 別の表現では、移動を検討できますQb2。繰り返しますが、これはゲームに属する場合とそうでない場合があります。現在のプレイヤーにクイーンがいない場合、それは確かにありません。

無効な動きはゲームではなく表現に関連しているため、まったく考慮すべきではありません。

最近、マインスイーパで同様の問題に直面しました。

私がそれを解決したのは、違法/無効な動きを完全に無視することでした。

1. Qネットワークを使用して、すべてのアクション（有効および無効）のQ値を予測します
2. すべての無効な移動をゼロ/負数のQ値に設定して、Q値を前処理します（シナリオによって異なります）
3. 選択したポリシーを使用して、洗練されたQ値（貪欲またはボルツマン）からアクションを選択します。
4. 選択したアクションを実行し、DQNロジックを再開します

お役に立てれば。