AdaGradとAdaDeltaの数学を理解する

私はプロジェクト用にいくつかのモデルを構築していますが、AdagradおよびAdadeltaアルゴリズムの計算に頭を悩ますことはできません。

私はバニラ勾配降下法がどのように機能するかを理解しており、それを正常に機能させるためのコードを作成しました。

誰かがこれらの2つのことを私に説明したり、それらを理解するためのリソースを提供したりすると、私は感謝します。

machine-learning gradient-descent

— マレー・ハザリカ
ソース

quora.com/…

— mico

リソースに関して：

私の意見では、ADADELTA：適応学習率法（元のADADELTA論文）は、ADAGRADとADADELTAの両方を非常にアクセスしやすい方法で説明しています（セクション1〜3）。
私が見つかりましたオンライン学習や確率的最適化のための適応劣勾配法をあまりアクセスできるようにするが、それはおそらく価値がAショットであるので、それは、元ADAGRAD紙です。
勾配降下最適化アルゴリズムの概要（Sebastian Ruderによるブログ投稿）も、ADAGRADとADADELTAの両方を理解するのに役立ちました。

ADADELTA：アダプティブラーニングレートメソッドからの中心的な引用と、いくつかの例と簡単な説明を次に示します。

ADAGRAD

ADAGRADの更新ルールは次のとおりです。ここで、分母は以前のすべての勾配のノルムを次元ごとに計算し、ηはすべての次元で共有されるグローバルな学習率です。手動で調整されたグローバル学習率がありますが、各次元には独自の動的率があります。
$\begin{matrix} Δ x_{t} = - \frac{η}{\sqrt{\sum_{τ = 1}^{t} g_{τ}^{2}}} g_{t} & (5) \end{matrix}$ $\begin{matrix}\Delta x_{t}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}}g_{t} & & & (5)\end{matrix}$ $l2$

つまり、最初の3つのステップのグラデーションが、次に： $g_{1}=\left(\begin{gathered}a_{1}\\ b_{1}\\ c_{1} \end{gathered} \right)\,,\,g_{2}=\left(\begin{gathered}a_{2}\\ b_{2}\\ c_{2} \end{gathered} \right)\,,\,g_{3}=\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)$

\begin{matrix} Δ x_{3} = - \frac{η}{\sqrt{\sum_{τ = 1}^{3} g_{τ}^{2}}} g_{3} = - \frac{η}{\sqrt{(\begin{matrix} a_{1}^{2} + a_{2}^{2} + a_{3}^{2} \\ b_{1}^{2} + b_{2}^{2} + b_{3}^{2} \\ c_{1}^{2} + c_{2}^{2} + c_{3}^{2} \end{matrix})}} (\begin{matrix} a_{3} \\ b_{3} \\ c_{3} \end{matrix}) \\ ↓ \\ Δ x_{3} = - (\begin{matrix} \frac{η}{\sqrt{a_{1}^{2} + a_{2}^{2} + a_{3}^{2}}} a_{3} \\ \frac{η}{\sqrt{b_{1}^{2} + b_{2}^{2} + b_{3}^{2}}} b_{3} \\ \frac{η}{\sqrt{c_{1}^{2} + c_{2}^{2} + c_{3}^{2}}} c_{3} \end{matrix}) \end{matrix}

$\begin{gathered}\Delta x_{3}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{3}g_{\tau}^{2}}}g_{3}=-\frac{\eta}{\sqrt{\left(\begin{gathered}a_{1}^{2}+a_{2}^{2}+a_{3}^{2}\\ b_{1}^{2}+b_{2}^{2}+b_{3}^{2}\\ c_{1}^{2}+c_{2}^{2}+c_{3}^{2} \end{gathered} \right)}}\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)\\ \downarrow\\ \Delta x_{3}=-\left(\begin{gathered}\frac{\eta}{\sqrt{a_{1}^{2}+a_{2}^{2}+a_{3}^{2}}}a_{3}\\ \frac{\eta}{\sqrt{b_{1}^{2}+b_{2}^{2}+b_{3}^{2}}}b_{3}\\ \frac{\eta}{\sqrt{c_{1}^{2}+c_{2}^{2}+c_{3}^{2}}}c_{3} \end{gathered} \right) \end{gathered}$ ここで、約束どおり、各次元に独自の動的学習率があることが簡単にわかります。

ADADELTAが対抗しようとするADAGRADの問題

このペーパーで提示されているアイデアは、メソッドの2つの主な欠点を改善するためにADAGRADから派生したものです。

2番目の欠点は自明です。

最初の欠点が問題で
ある場合の例を示しますの各成分の絶対値が、他のステップの勾配のそれぞれの成分の絶対値よりもはるかに大きい場合をます。いずれかのために、それのすべてのコンポーネントと考えているの各成分の絶対値よりも大きい。しかし、のすべてのコンポーネントの絶対値は、のそれぞれのコンポーネントの絶対値よりもはるかに大きいため、は非常に小さくなります。 $g_2$
$t>2$ $\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}$ $g_2$ $g_2$ $g_t$ $\Delta x_t$
さらに、アルゴリズムが進むにつれて、最小値に近づくため、勾配が小さくなり、は次第に小さくなります。したがって、アルゴリズムが最小値に達する前に実質的に停止する可能性があります。 $\Delta x_t$

ADADELTA

計算されたすべての勾配を考慮する代わりに、ADADELTAは最後の勾配のみを考慮します。 $w$

前の 2乗勾配を保存することは非効率的であるため、この手法はこの累積を2乗勾配の指数関数的に減衰する平均として実装します。時間この移動平均がと仮定すると、次のように計算されます：ここで、は減衰定数[...]です。パラメータの更新にはこの量の平方根が必要なので、これは事実上、時間までの前の2乗勾配のになり。 $w$ $t$ $E\left[g^{2}\right]_{t}$
$\begin{matrix} E {[g^{2}]}_{t} = ρ E {[g^{2}]}_{t - 1} + (1 - ρ) g_{t}^{2} & (8) \end{matrix}$ $\begin{matrix}E\left[g^{2}\right]_{t}=\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2} & & & (8)\end{matrix}$ $\rho$ $\text{RMS}$ $t$ $\begin{matrix} RMS {[g]}_{t} = \sqrt{E {[g^{2}]}_{t} + ϵ} & (9) \end{matrix}$ $\begin{matrix}\text{RMS}\left[g\right]_{t}=\sqrt{E\left[g^{2}\right]_{t}+\epsilon} & & & (9)\end{matrix}$ ここで、分母をよりよく調整するために定数が追加されます $\epsilon$

（は二乗平均平方根を意味します。） $\text{RMS}$

同様に、そして最後に：

E {[Δ x^{2}]}_{t - 1} = ρ E {[Δ x^{2}]}_{t - 2} + (1 - ρ) Δ x_{t - 1}^{2}

$E\left[\Delta x^{2}\right]_{t-1}=\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}$

RMS {[Δ x]}_{t - 1} = \sqrt{E {[Δ x^{2}]}_{t - 1} + ϵ}

$\text{RMS}\left[\Delta x\right]_{t-1}=\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}$

[...]近似計算指数関数的に減衰することによってサイズのウィンドウにわたって前のが ADADELTA方法を与える：ここで、分子にも同じ定数が追加されています。この定数は、である最初の反復を開始する目的と、以前の更新が小さくなっても進行が続けられるようにする目的の両方に役立ちます。[...] $\Delta x_{t}$ $\text{RMS}$ $w$ $\Delta x$
$\begin{matrix} Δ x_{t} = - \frac{RMS {[Δ x]}_{t - 1}}{RMS {[g]}_{t}} g_{t} & (14) \end{matrix}$ $\begin{matrix}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t} & & & (14)\end{matrix}$ $\epsilon$ $\text{RMS}$ $\Delta x_{0}=0$

分子は加速項として機能し、時間枠にわたって以前の勾配を累積します[...]

つまり、ステップの勾配がおよび、次に： $r$ $g_{r}=\left(\begin{gathered}a_{r}\\ b_{r}\\ c_{r} \end{gathered} \right)$ $\Delta x_{r}=\left(\begin{gathered}i_{r}\\ j_{r}\\ k_{r} \end{gathered} \right)$

\begin{matrix} Δ x_{t} = - \frac{RMS {[Δ x]}_{t - 1}}{RMS {[g]}_{t}} g_{t} = - \frac{\sqrt{E {[Δ x^{2}]}_{t - 1} + ϵ}}{\sqrt{E {[g^{2}]}_{t} + ϵ}} g_{t} = \\ - \frac{\sqrt{ρ E {[Δ x^{2}]}_{t - 2} + (1 - ρ) Δ x_{t - 1}^{2} + ϵ}}{\sqrt{ρ E {[g^{2}]}_{t - 1} + (1 - ρ) g_{t}^{2} + ϵ}} g_{t} = \\ - \frac{\sqrt{ρ (ρ E {[Δ x^{2}]}_{t - 3} + (1 - ρ) Δ x_{t - 2}^{2}) + (1 - ρ) Δ x_{t - 1}^{2} + ϵ}}{\sqrt{ρ (ρ E {[g^{2}]}_{t - 2} + (1 - ρ) g_{t - 1}^{2}) + (1 - ρ) g_{t}^{2} + ϵ}} g_{t} = \\ - \frac{\sqrt{ρ^{2} E {[Δ x^{2}]}_{t - 3} + p^{1} (1 - ρ) Δ x_{t - 2}^{2} + p^{0} (1 - ρ) Δ x_{t - 1}^{2} + ϵ}}{\sqrt{ρ^{2} E {[g^{2}]}_{t - 2} + p^{1} (1 - ρ) g_{t - 1}^{2} + p^{0} (1 - ρ) g_{t}^{2} + ϵ}} g_{t} = \\ - \frac{\sqrt{ρ^{t - 1} E {[Δ x^{2}]}_{0} + \overset{t - 1}{\sum_{r = 1}} ρ^{t - 1 - r} (1 - ρ) Δ x_{r}^{2} + ϵ}}{\sqrt{ρ^{t - 1} E {[g^{2}]}_{1} + \overset{t}{\sum_{r = 2}} ρ^{t - r} (1 - ρ) g_{r}^{2} + ϵ}} g_{t} \end{matrix}

$\begin{gathered}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t}=-\frac{\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}}{\sqrt{E\left[g^{2}\right]_{t}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho\left(\rho E\left[\Delta x^{2}\right]_{t-3}+\left(1-\rho\right)\Delta x_{t-2}^{2}\right)+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho\left(\rho E\left[g^{2}\right]_{t-2}+\left(1-\rho\right)g_{t-1}^{2}\right)+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{2}E\left[\Delta x^{2}\right]_{t-3}+p^{1}\left(1-\rho\right)\Delta x_{t-2}^{2}+p^{0}\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho^{2}E\left[g^{2}\right]_{t-2}+p^{1}\left(1-\rho\right)g_{t-1}^{2}+p^{0}\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{t-1}E\left[\Delta x^{2}\right]_{0}+\overset{t-1}{\underset{r=1}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\rho^{t-1}E\left[g^{2}\right]_{1}+\overset{t}{\underset{r=2}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t} \end{gathered}$

$\rho$ は減衰定数なので、（通常は）になるように選択します。したがって、高指数を掛けると、非常に小さな数になります。してみましょう、我々はによって正気値を乗算の積と考えるような最低の指数も無視できるが。これで、無視できる項を削除して概算できます。 $\rho\in\left(0,1\right)$ $\rho\ge0.9$
$\rho$
$w$ $\rho^w$
$\Delta x_{t}$

\begin{matrix} Δ x_{t} \approx - \frac{\sqrt{\overset{t - 1}{\sum_{r = t - w}} ρ^{t - 1 - r} (1 - ρ) Δ x_{r}^{2} + ϵ}}{\sqrt{\overset{t}{\sum_{r = t + 1 - w}} ρ^{t - r} (1 - ρ) g_{r}^{2} + ϵ}} g_{t} = \\ - \frac{\sqrt{\overset{t - 1}{\sum_{r = t - w}} ρ^{t - 1 - r} (1 - ρ) (\begin{matrix} i_{r}^{2} \\ j_{r}^{2} \\ k_{r}^{2} \end{matrix}) + ϵ}}{\sqrt{\overset{t}{\sum_{r = t + 1 - w}} ρ^{t - r} (1 - ρ) (\begin{matrix} a_{r}^{2} \\ b_{r}^{2} \\ c_{r}^{2} \end{matrix}) + ϵ}} (\begin{matrix} a_{t} \\ b_{t} \\ c_{t} \end{matrix}) \\ ↓ \\ Δ x_{t} \approx - (\begin{matrix} \frac{\sqrt{\overset{t - 1}{\sum_{r = t - w}} ρ^{t - 1 - r} (1 - ρ) i_{r}^{2} + ϵ}}{\sqrt{\overset{t}{\sum_{r = t + 1 - w}} ρ^{t - r} (1 - ρ) a_{r}^{2} + ϵ}} a_{t} \\ \frac{\sqrt{\overset{t - 1}{\sum_{r = t - w}} ρ^{t - 1 - r} (1 - ρ) j_{r}^{2} + ϵ}}{\sqrt{\overset{t}{\sum_{r = t + 1 - w}} ρ^{t - r} (1 - ρ) b_{r}^{2} + ϵ}} b_{t} \\ \frac{\sqrt{\overset{t - 1}{\sum_{r = t - w}} ρ^{t - 1 - r} (1 - ρ) k_{r}^{2} + ϵ}}{\sqrt{\overset{t}{\sum_{r = t + 1 - w}} ρ^{t - r} (1 - ρ) c_{r}^{2} + ϵ}} c_{t} \end{matrix}) \end{matrix}

$\begin{gathered}\Delta x_{t}\approx-\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\left(\begin{gathered}i_{r}^{2}\\ j_{r}^{2}\\ k_{r}^{2} \end{gathered} \right)+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)\left(\begin{gathered}a_{r}^{2}\\ b_{r}^{2}\\ c_{r}^{2} \end{gathered} \right)+\epsilon}}\left(\begin{gathered}a_{t}\\ b_{t}\\ c_{t} \end{gathered} \right)\\ \downarrow\\ \Delta x_{t}\approx-\left(\begin{gathered}\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)i_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)a_{r}^{2}+\epsilon}}a_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)j_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)b_{r}^{2}+\epsilon}}b_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)k_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)c_{r}^{2}+\epsilon}}c_{t} \end{gathered} \right) \end{gathered}$

— オーレンミルマン
ソース

quoraからより完全なガイドを見つけることができますが、主なアイデアは、AdaGradが機械学習での勾配学習率選択におけるこれらの問題を解決しようとすることです。

1学習率ηの手動選択。

2勾配ベクトルgtは、スカラー学習率ηによって均一にスケーリングされます。

3学習率ηは、学習プロセス全体を通じて一定です。

これは、現在の各勾配成分を、その特定の成分について過去に観測された勾配のL2ノルムで除算するだけで、問題2および3を解決します。

それ自体に次の問題があります。

1継続的に減衰する学習率η。

2学習率ηの手動選択。

AdaDeltaは、特定のウィンドウW内でのみ勾配を合計することにより、AdaGradの問題1を解決します。

懸念2の解決策は、勾配単位の不一致に関連するため、

実際の蓄積プロセスは、運動量からの概念を使用して実装されます。

最後の計算は運動量理論を理解する必要があり、記事ですぐに説明されました。

私の考えは、意図されたものの背後にある主な原因を説明することでした。

— ミコ
ソース