ポリシー反復アルゴリズムが最適なポリシーと価値関数に収束するのはなぜですか？

私は強化学習に関するAndrew Ngの講義ノートを読んでおり、ポリシーの反復が最適値関数と最適ポリシー収束する理由を理解しようとしていました。$V^*$$\pi^*$

リコールポリシーの反復は次のとおりです。

$\text{Initialize $\pi$ randomly} \\ \text{Repeat}\{\\ \quad Let \ V := V^{\pi} \text{ \\for the current policy, solve bellman's eqn's and set that to the current V}\\ \quad Let \ \pi(s) := argmax_{a \in A} \sum_{s'}P_{sa}(s') V(s')\\ \}$

貪欲なアルゴリズムが最適なポリシーと最適な価値関数につながるのはなぜですか？（貪欲なアルゴリズムが常にそれを保証するわけではないこと、またはローカルオプティマでスタックする可能性があることを知っているので、アルゴリズムの最適性の証明を確認したかっただけです）。

また、ポリシーの反復は、クラスタリングや勾配降下に類似しているように見えます。クラスター化するには、パラメーターの現在の設定を使用して最適化します。勾配降下に似ていますが、関数を増やすように見える値を選択するだけです。これらの2つの方法は常に最適な最大値に収束するとは限らず、このアルゴリズムが前述の方法とどのように異なるかを理解しようとしました。

---

これらはこれまでの私の考えです：

いくつかのポリシーから始めて、最初のステップの後、その固定されたポリシーについて、次のようにします。$\pi_1$

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$

$V^{(1)} := V^{\pi_1}(s)$

ここで、V ^ {（1）}は最初の反復の値関数です。次に、2番目のステップの後、新しいポリシーを選択して、の値を増やします。ここで、新しいポリシーを使用して、アルゴリズムの2番目のステップを実行すると、次の不等式が成り立ちます。$\pi_2$$V^{\pi_1}(s)$$\pi_2$

$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s') \leq R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

2番目のステップでを選択して、前のステップの値関数を増加させているため（つまり、を改善するため。これまでのところ、を選択してもV ^ {（1）}しか増加できないことは明らかです。これがを選択する方法。ただし、繰り返しステップで混乱が生じます。繰り返してステップ1に戻ると、新しいポリシーを再計算するため、実際には完全に変更されます。それは与える：$\pi_2$$V^{(1)}$$\pi_2$$\pi_2$$V^{2}$$\pi_2$

$V^{\pi_2}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_2}(s')$

しかし、それは違います：

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

これはがを改善するために選択されたためであり、この新しいはないため、問題であるようです。基本的問題は、ある向上させるために保証実行して代わり値関数であるときに。しかし、繰り返しステップでをに変更しますが、が値関数を改善するように計算されたため、各繰り返しで値関数が単調に改善されることを保証する方法はわかりません値関数は$\pi_2$$V^{(1)}$$V^{\pi_2}$$pi_2$$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$$\pi_2$$pi_1$$V^{\pi_1}$$V^{\pi_1}$$V^{\pi_2}$$\pi_2$$V^{\pi_1}$ V π 1、しかし、ステップ1はを（これはが以前の値関数を改善しただけなので悪いことです）。$V^{\pi_1}$$V^{\pi_2}$$\pi_2$

あなたが欠けている部分は、が注文できるのと同じ理由で保証されていることだと思います。これは基本的に、あるポリシーが別のポリシーよりも優れているという定義です。つまり、その価値関数はすべての州でより大きいか等しいということです。これは、最大化アクションを選択することで保証されています。状態値が以前より悪くなることはありません。より優れた最大化アクションを選択するために1つのアクションの選択のみが変更された場合、その状態は、場合よりも高くなります。$V^{\pi_2} \ge V^{\pi_1}$$\pi_2 \ge \pi_1$$V^{\pi_2}(s)$$V^{\pi_1}(s)$

結果を最大化してを生成することを選択した場合、どのがどの状態になるかはわかりませんが、。$\pi_2$$V^{\pi_2}(s)$$\forall s: V^{\pi_2}(s) \ge V^{\pi_1}(s)$

したがって、ループを戻って新しいポリシーのを計算すると、以前と同じかそれ以上の値になることが保証され、ポリシーを再度更新する場合は、。$V^{\pi_2}$$\pi_3 \ge \pi_2 \ge \pi_1$

まず、ポリシー反復アルゴリズムが機能する理由を見てみましょう。2つのステップがあります。

ポリシー評価ステップ：

$v_n = r_{d_n} + \gamma P_{d_n}v_n$は、線形方程式系の一般的なベクトル形式です。

ここで、用語は、遷移マトリックスの即時報酬および対応する行です。$r_{d_n}, P_{d_n}$

これらの条件はポリシーに依存します$\Pi_n$

上記の連立方程式を解くと、の値を見つけることができます$v_n$

ポリシー改善ステップ：

我々は、新しいポリシーを見つけることができたと仮定となるよう$\Pi_{n+1}$

$$\begin{align} r_{d_n+1} + \gamma P_{d_n+1}v_n & \ge r_{d_n} + \gamma P_{d_n}v_n \\ \implies r_{d_n+1} & \ge [I - \gamma P_{d_n+1}]v_n \quad \text{say this is eqn. 1}\\ \end{align}$$

今、新しいポリシーに基づく、我々は見つけることができ 、これが方程式2だとしましょう。$\Pi_{n+1}$$v_{n+1} = r_{d_{n+1}} + \gamma P_{d_{n+1}}v_{n+1}$

私たちは、それを示すために予定されている。$v_{n+1} \ge v_n$

つまり、本質的にすべての州に対して、新しく選択されたポリシーは、以前のポリシーと比較してより良い値を提供します$\Pi_{n+1}$$\Pi_{n}$

証明：

方程式2から、

$[I - \gamma P_{d_{n+1}}]v_{n+1} = r_{d_n+1}$

から、、$1 \&2$

$v_{n+1} \ge v_{n}$

基本的に、値は各反復で単調に増加しています。

これは、ポリシーの相互作用がローカルの最大値でスタックしない理由を理解するために重要です。

ポリシーは、状態アクションスペースにすぎません。

すべてのポリシー反復ステップで、と間で異なる少なくとも1つの状態アクションを見つけて 、かどうかを確認します。条件が満たされた場合のみ、新しい線形方程式系の解を計算します。$\Pi_{n+1}$$\Pi_{n}$$\quad r_{d_n+1} + \gamma P_{d_n+1}v_n \ge r_{d_n} + \gamma P_{d_n}v_n$

およびがそれぞれ大域的および局所的最適であると仮定します。$\Pi^*$$\Pi^\#$

意味、$v_* \ge v_\#$

アルゴリズムが局所最適値でスタックしていると仮定します。

これに該当する場合、にはとは異なる少なくとも1つの状態アクションが存在するため、ポリシー改善ステップはローカルの最適状態アクションスペースで停止しません。 そしてと比較して値が高くなります$\Pi^\#$$\Pi^*$$\Pi^\#$$v_{*}$$v_{\#}$

または、言い換えれば、

$[I-\gamma P_{d_*}]v_* \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge r_{d_\#} + \gamma P_{d_\#}v_\#$

したがって、ポリシーの反復はローカルの最適値で停止しません