強化学習でのQ関数とV関数とは何ですか？

30

ように私には思える $V$ 機能を簡単に表すことができる $Q$ 機能ひいては $V$ 機能は、私には余分のようです。しかし、強化学習は初めてなので、何か間違ったことがあると思います。

定義

Q学習とV学習は、マルコフ決定プロセスのコンテキストにあります。A MDPは 5タプルである $(S, A, P, R, \gamma)$ と

$S$ は状態のセットです（通常は有限）
$A$ はアクションのセットです（通常は有限）
$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ は、アクション状態 $s$ から状態に到達する確率です。 $s'$ $a$
$R(s, s', a) \in \mathbb{R}$ 状態から行く直後の報酬である $s$ 状態に $s'$ アクションと $a$ 。（通常はのみが $s'$ 重要であるように思えます）
$\gamma \in [0, 1]$ 割引率と呼ばれ、決定された場合は、1つの即時報酬に焦点を当てて（ $\gamma = 0$ ）、総報酬（ $\gamma = 1$ ）またはいくつかのトレードオフ。

政策 $\pi$ によると、強化学習：入門サットンによるとバート氏は、関数である $\pi: S \rightarrow A$ （これは確率論することができます）。

V^{π} (s) = E_{π} {R_{t} | s_{t} = s} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s}

$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$ 及びQ関数は、ある

Q^{π} (s, a) = E_{π} {R_{t} | s_{t} = s, a_{t} = a} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$

私の考え

$V$ 全体的な値が期待したもの、機能状態（報酬ではない！）状態の $s$ 方針の下で $\pi$ です。

機能状態状態の値がどのようなと行動ポリシーの下で。 $Q$ $s$ $a$ $\pi$

これは、

Q^{π} (s, π (s)) = V^{π} (s)

$Q^\pi(s, \pi(s)) = V^\pi(s)$

右？では、なぜバリュー関数があるのでしょうか？（私は何かを混ぜたと思います）

machine-learning reinforcement-learning

— マーティン・トーマ
ソース

15

Q値はアクションを明示的にするための優れた方法であるため、遷移関数が使用できない（モデルなし）問題を処理できます。ただし、アクションスペースが大きい場合、物事はそれほど良くなく、Q値はそれほど便利ではありません。膨大な数のアクション、または連続したアクションスペースさえ考えてください。

サンプリングの観点から見ると、 $Q(s, a)$ 次元は $V(s)$ よりも高いため、と比較して十分な $(s, a)$ サンプルを取得するのが難しくなる可能性があります。遷移関数にアクセスできる場合、が良い場合があります。 $(s)$ $V$

両方を組み合わせた他の用途もあります。例えば、 $A(s, a) = Q(s, a) - V(s)$ であるアドバンテージ関数。興味がある場合は、ここでアドバンテージ関数を使用した最近の例を見つけることができます。

深層強化学習のための決闘ネットワークアーキテクチャ

王Z、トム・ショール、マッテオ・ヘッセル、ハド・ヴァン・ハッセルト、マーク・ランクト、ナンド・デ・フレイタス。

— フアン・レニ
ソース

19

$V^\pi(s)$ MDP（マルコフ決定過程）の状態値の関数です。これは、ポリシー続く状態 $s$ から始まる期待リターンです。 $\pi$

式で

V^{π} (s) = E_{π} {G_{t} | s_{t} = s}

$V^\pi(s) = E_\pi \{G_t | s_t = s\}$

$G_t$ 即時のリターンであるとは対照的に、はタイムステップ $t$ からの合計割引報酬です。ここでは、ポリシーに従ってすべてのアクションを期待しています。 $R_t$ $\pi$

$Q^\pi(s, a)$ 行動価値関数です。これは、状態 $s$ から始まり、ポリシー $\pi$ に従ってアクション $a$ を実行期待リターンです。特定の状態での特定のアクションに焦点を当てています。

Q^{π} (s, a) = E_{π} {G_{t} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$

関係 $Q^\pi$ 及び $V^\pi$ （その状態にあるの値）であります

V^{π} (s) = \sum_{a \in A} π (a | s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$

すべてのアクション値にそのアクションを実行する確率（ポリシー $\pi(a|s)$ ）を掛けて合計します。

グリッドワールドの例を考えると、（上/下/右/左）の確率に（上/下/右/左）の1ステップ先の状態値を掛けます。

— アーロン
ソース

5

これが最も簡潔な答えです。

— ブレット

V^{π} (s) = max_{a \in A} Q^{π} (s, a)

$V^\pi(s) = \max_{a \in A} Q^\pi(s, a)$

V^{π} (s) = \sum_{a \in A} π (a ∣ s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a \in A} \pi (a \mid s) * Q^\pi(a, s)$

V

$V$

Q

$Q$

V

$V$

Q

$Q$

@nbroこれは、あなたがどのようなポリシーに従っているかによって決まると思います。純粋な貪欲なポリシーでは、あなたは正しいです。それは確率的に行動を決定するために建てられた多くの探索的政策があった場合でも、上記の正しいだろう

— deltaskelta

7

あなたはそれを正しく持っています、関数は状態の値を与え、は状態でのアクションの値を与えます（与えられたポリシーに従って）。Qラーニングとその仕組みの最も明確な説明は、トムミッチェルの本「Machine Learning」（1997）、ch。13、ダウンロード可能です。は無限級数の合計として定義されますが、ここでは重要ではありません。重要なのは関数が次のように定義されることです $V$ $Q$ $\pi$ $V$ $Q$

Q (s, a) = r (s, a) + γ V^{*} (δ (s, a))

$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$ ここで、V *は最適なポリシーに従うことができる場合の状態の最適値ですわからない。しかし、という点で素敵なキャラクタリゼーションを有するコンピューティング置換することによって行われる与える最初の式

Q

$Q$

V^{*} (s) = max_{a^{'}} Q (s, a^{'})

$V^{*}(s)= \max_{a'} Q(s,a')$

Q

$Q$

V^{*}

$V^*$

Q (s, a) = r (s, a) + γ max_{a^{'}} Q (δ (s, a), a^{'})

$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$

これは、現在の状態のアクションのQ値を後続状態の最適なQ値で表現するため、最初は奇妙な再帰に思えるかもしれませんが、バックアッププロセスでの使用方法を見ると意味があります。プロセスは、目標状態に到達すると停止し、報酬を収集します。これが最終遷移のQ値になります。後続のトレーニングエピソードでは、探索プロセスがその先行状態に達すると、バックアッププロセスは上記の等式を使用して、先行状態の現在のQ値を更新します。次回は状態のQ値が更新される前任者が訪問されるなど、行をさかのぼります（ミッチェルの本は、すべての計算を保存して後で再生することでこれを行うより効率的な方法を説明しています）。すべての州が無限に頻繁に訪れる場合、このプロセスは最終的に最適なQを計算します

が実際に更新される量を制御するために適用される学習率が表示されることがありますのお知らせになりましたQ値の更新があることない現在のQ値に依存します。Mitchellの本は、それがなぜであり、なぜあなたがを必要とするのかも説明しています：確率的MDPのために。なければ、状態とアクションのペアが試行されるたびに異なる報酬が得られるため、Q ^関数は場所全体に跳ね返り、収束しません。が存在するため、新しい知識は一部しか受け入れられません。 $\alpha$

Q (s, a) = (1 - α) Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}))

$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$

= Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}) - Q (s, a))

$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$

α

$\alpha$

α

$\alpha$

α

$\alpha$

α

$\alpha$ Qの現在の（ほとんどランダムな値）の影響が小さくなるように高く設定されます。はトレーニングが進むにつれて減少するため、新しい更新の影響はますます小さくなり、Q学習は収束します

α

$\alpha$

— SN
ソース

0

アーロンの答えにおける状態値とアクション値の関係のより詳細な説明を以下に示します。最初にポリシー下で値関数とアクション値関数の定義を見てみましょう。 whereは時刻での戻り値です。これらの2つの値関数間の関係は、次のように導出できます。 $\pi$

\begin{aligned} v_{π} (s) = E [G_{t} | S_{t} = s] \\ q_{π} (s, a) = E [G_{t} | S_{t} = s, A_{t} = a] \end{aligned}

$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

$G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$

t

$t$

\begin{aligned} v_{π} (s) & = E [G_{t} | S_{t} = s] \\ = \sum_{g_{t}} p (g_{t} | S_{t} = s) g_{t} \\ = \sum_{g_{t}} \sum_{a} p (g_{t}, a | S_{t} = s) g_{t} \\ = \sum_{a} p (a | S_{t} = s) \sum_{g_{t}} p (g_{t} | S_{t} = s, A_{t} = a) g_{t} \\ = \sum_{a} p (a | S_{t} = s) E [G_{t} | S_{t} = s, A_{t} = a] \\ = \sum_{a} p (a | S_{t} = s) q_{π} (s, a) \end{aligned}

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$ 上記の方程式は重要です。強化学習における2つの基本的な価値関数間の関係を説明します。すべてのポリシーに有効です。さらに、決定論的なポリシーがある場合、ます。これがあなたのお役に立てば幸いです。（ベルマンの最適性の方程式の詳細については、https：//stats.stackexchangeをご覧ください。

v_{π} (s) = q_{π} (s, π (s))

$v_{\pi}(s)=q_{\pi}(s,\pi(s))$ ）

— ジェ・シ
ソース

0

値関数は、ユーティリティの抽象的な定式化です。また、Q関数はQ学習アルゴリズムに使用されます。

— エマニュエル
ソース

この質問の文脈では、とは異なります。

V

$V$

Q

$Q$

— シオンサイゴー