Adam Optimizerがそのハイパーパラメーターの値に対して堅牢であると考えられる理由は何ですか？

私はディープラーニング用のAdamオプティマイザーについて読んでいて、Bengio、Goodfellow、Courvilleの新しい本Deep Learningで次の文章を見つけました。

Adamは通常、ハイパーパラメーターの選択に対してかなり堅牢であると見なされていますが、学習率を推奨されるデフォルトから変更する必要がある場合があります。

ディープラーニングシステムの統計的パフォーマンスにおいて（少なくとも私の経験では）ハイパーパラメーター検索が非常に重要になる可能性があるため、これが事実であれば大したことです。したがって、私の質問は、なぜそのような重要なパラメーターに対してアダムがロバストなのですか？特別および？$\beta_1$$\beta_2$

私はAdamの論文を読みましたが、なぜそれらのパラメーターで機能するのか、なぜ堅牢なのかについては説明していません。彼らは他の場所でそれを正当化しますか？

私は紙を読んでも、ために、彼らは非常に小さくしようとしたハイパーパラメータの数、ということらしいわずか2とするためにβ 2、それが唯一の2x3のハイパーパラメータで動作している場合にのみ3.どのようにこれは徹底的に実証研究することができ？$\beta_1$$\beta_2$

クレームに関する証拠に関しては、クレームを裏付ける唯一の証拠が彼らの論文の図4にあると思います。彼らは、異なる値の範囲の下で最終的な結果を示す、β 2及びα。$\beta_1$$\beta_2$$\alpha$

個人的には、特に彼らがさまざまな問題に結果を提示していないため、私は彼らの議論を納得させません。ことで、私はさまざまな問題のために使用されるADAMを持っていることに注意します、そして私の個人的な所見は、デフォルト値のことであるおよびβ 2がないといじるの良い取引が、意外にも信頼性の高いように見えるαが必要とされます。$\beta_1$$\beta_2$ $\alpha$

$\beta_1$$\beta_2$

これは、ストックバニラの確率的勾配降下法とは非常に対照的です。

• 学習率はパラメーターごとではありませんが、単一のグローバルな学習率があり、これはすべてのパラメーターにわたって鈍的に適用されます
  • （ちなみに、これは、理想的なパラメーターごとの重みを同様に保つために、データがネットに送信される前に白く、正規化されることが多い理由の1つです）
• 提供される学習率は使用される正確な学習率であり、時間の経過とともに適応することはありません

アダムは、適応学習率を備えた唯一のオプティマイザーではありません。Adamの論文自体が述べているように、それはAdagradとRmspropに非常に関連しており、これらはハイパーパラメーターにも非常に鈍感です。特に、Rmspropは非常にうまく機能します。

しかし、アダムは一般的に最高です。ごくわずかな例外を除き、Adamはあなたが望むことをします:)

Adamが動作しないかなり病理学的なケースがいくつかあります。特に、非常に非定常的な分布の場合です。これらの場合、Rmspropは優れたスタンバイオプションです。しかし、一般的に言えば、ほとんどの非病理学的なケースでは、アダムは非常にうまく機能します。

ADAMの式を見ると、非常に多数のバッチ反復（〜400kなど）の後、元のエラーベースの勾配の大きさ自体が果たす役割は、実際の役割を果たさないように思われます。関連する記号の学習率構成パラメーター。
おそらく、ADAMは最初の反復/エポック中に単純なSGDよりも体重適応をよりよく制御しますが、今後は更新がやや素朴なものに減少するようです（？）