学習率と隠れ層の数の関係は？

ニューラルネットワークの深さと学習率の間に経験則はありますか？私は、ネットワークが深いほど、学習率は低くなければならないことに気づきました。

それが正しい場合、なぜですか？

この質問はここで答えられました：

ニューラルネットワークでは、学習率は何らかの方法で隠れ層のサイズに比例する必要がありますか？彼らはお互いに影響を与えるべきですか？

短い答えはイエスです、関係があります。関係はそれほど簡単ではありませんが、隠れ層の数が増えると最適化面がより複雑になるため、学習率が小さいほど一般的には良いということがわかります。極小値でスタックすることは、学習率が低い可能性がありますが、複雑な表面および高い学習率よりもはるかに優れています。