ResNet経由の勾配バックプロパゲーションは接続をスキップします

ResNetモジュール/スキップ接続を使用してニューラルネットワークを介して勾配がどのように逆伝播されるかについて興味があります。ResNetに関するいくつかの質問（スキップレイヤー接続のニューラルネットワークなど）を見てきましたが、これは特にトレーニング中の勾配の逆伝播について尋ねています。

基本的なアーキテクチャは次のとおりです。

この論文「画像認識のための残差ネットワークの研究」を読み、セクション2で、ResNetの目標の1つが、勾配がベースレイヤーに逆伝播するためのより短い/より明確なパスを可能にすることについて話します。

勾配がこのタイプのネットワークをどのように流れているのか説明できますか？加算操作、および加算後のパラメーター化されたレイヤーの欠如が、より良い勾配伝播を可能にする方法をよく理解していません。加算演算子を介して流れるときに勾配が変化せず、乗算なしで何らかの形で再配布される方法と関係がありますか？

さらに、グラデーションがウェイトレイヤーを通過する必要がない場合、消失するグラデーションの問題がどのように軽減されるかを理解できますが、ウェイトを通るグラデーションフローがない場合、逆方向パス後にどのように更新されますか？

[追加]は、グラデーションを両方の入力に均等に送り返します。次をtensorflowで実行することで、これを納得させることができます。

import tensorflow as tf

graph = tf.Graph()
with graph.as_default():
    x1_tf = tf.Variable(1.5, name='x1')
    x2_tf = tf.Variable(3.5, name='x2')
    out_tf = x1_tf + x2_tf

    grads_tf = tf.gradients(ys=[out_tf], xs=[x1_tf, x2_tf])
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        fd = {
            out_tf: 10.0
        }
        print(sess.run(grads_tf, feed_dict=fd))

出力：

[1.0, 1.0]

したがって、勾配は次のようになります。

• スキップレイヤー接続を介して、変更されずに前のレイヤーに渡される
• 重み付きでブロックに渡され、それらの重みを更新するために使用されます

編集：質問があります：「高速道路接続とニューラルネットブロックが再び結合するポイントでの操作は、図2の下部にありますか？」

答えは次のとおりです。それらは合計されます。これは、図2の式からわかります。

これが言うことは：

• バス内の値（）$\mathbf{x}$
• バス値をネットワーク経由で渡した結果、つまり追加されます$\mathbf{x}$$\mathcal{F}(\mathbf{x})$
• ここでというラベルを付けた残差ブロックからの出力を提供します$\mathbf{\text{output}}$

編集2：

わずかに異なる単語で書き換える：

• 順方向では、入力データはバスを流れます
  • バスに沿ったポイントで、残留ブロックはバスベクトルに値を追加/削除することを学習できます。
• 逆方向では、勾配はバスを逆流します
  • 道に沿って、勾配はそれらが過去に移動する残余ブロックを更新します
  • 残りのブロック自体が勾配をわずかに変更します

残差ブロックは逆方向に流れる勾配を修正しますが、勾配が流れる「押しつぶす」または「活性化」機能はありません。'squashing' / 'activation'関数は、勾配の爆発/消滅の問題を引き起こすものであるため、これらをバス自体から削除することにより、この問題を大幅に軽減します。

編集3：個人的には、次の図のように頭の中でresnetを想像します。トポロジー的には図2と同じですが、おそらくバスがネットワークをまっすぐ流れるのをより明確に示し、残りのブロックはそこから値をタップし、バスに対して小さなベクトルを追加/削除します：