リバースモード自動微分のステップバイステップの例

この質問がここに属するかどうかはわかりませんが、最適化における勾配法と密接に関連しています。これはここではトピックのようです。とにかく、他のコミュニティがこのトピックについてより良い専門知識を持っていると思うなら、気軽に移行してください。

要するに、私は逆モード自動微分の段階的な例を探しています。トピックに関する文献はそれほど多くなく、既存の実装（TensorFlowのようなもの）は、その背後にある理論を知らずに理解するのは困難です。したがって、私たちが何を渡し、どのように処理し、計算グラフから何を取り出すかを誰かが詳細に示すことができれば、非常に感謝しています。

私が最も苦労しているいくつかの質問：

種 -なぜそれらが必要なのですか？
逆微分ルール -前方微分を行う方法を知っていますが、どのように後方に進みますか？たとえば、このセクションの例では、をどのように知ることがますか？ $\bar{w_2}=\bar{w_3}w_1$
我々はして作業を行うだけで、シンボルの実際を介して、またはパス値は？たとえば、同じ例では、と記号または値はありますか？ $w_i$ $\bar{w_i}$

— 友だち
ソース

「Scikit-Learn＆TensorFlowを使用したハンズオン機械学習」付録Dには、非常に良い説明があります。私はそれをお勧めします。

— アグスティンバラチナ

式あり、導関数およびを見つけたいとします。リバースモードADは、このタスクを2つの部分、つまりフォワードパスとリバースパスに分割します。 $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

フォワードパス

最初に、複雑な式をプリミティブな式のセット、つまり最大で1つの関数呼び出しで構成される式に分解します。一貫性を保つために、入力変数と出力変数の名前も変更しますが、必須ではありません。

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

この表現の利点は、個別の式ごとの差別化ルールが既知であることです。たとえば、導関数はであるため、ます。この事実は、以下の逆パスで使用します。 $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

基本的に、フォワードパスはこれらの各式を評価し、結果を保存することで構成されます。たとえば、入力はおよびです。それから私達にあります： $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

リバースパス

これが魔法の始まりであり、連鎖ルールで始まります。基本的な形では、チェーンルールは、変数がに依存し、次にがに依存する場合、次のようになります。 $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

または、いくつかのパス/変数を介して依存する場合、たとえば： $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

次に（ここで証明を参照）：

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{i}} \frac{d u_{i}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

我々が持っている場合表現グラフの点で、最終のノードと入力ノード、およびから経路に中間ノードを経由（すなわち、我々は誘導体見つけることができます） as $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{p}} \frac{d w_{p}}{d w_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

つまり、中間変数または入力変数に対する出力変数導関数を計算するには、その親の導関数とプリミティブ式導関数を計算する式を知るだけでです。 $z$ $w_i$ $w_p = f(w_i)$

リバースパスは末尾（つまり）から始まり、すべての依存関係に逆伝播します。ここにあります（「シード」の表現）： $\frac{dz}{dz}$

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

それは「変化として読み取ることができるでまったく同じ変化の結果非常に明白です、」。 $z$ $z$

次に、であることがます。 $z = w_5$

\frac{d z}{d w_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ 直線的に依存と、そうと。チェーンルールを使用すると、次のことがわかります。 $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d z}{d w_{3}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d z}{d w_{4}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

定義および偏導関数のルールから、ます。したがって： $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

これは、フォワードパスで既に知っているように、次のとおりです。

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

最後に、および介して寄与します。ここでも、偏微分のルールから、およびます。したがって： $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d z}{d w_{1}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{1}} + \frac{d z}{d w_{4}} \frac{d w_{4}}{d w_{1}} = w_{2} + \cos (w_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

繰り返しますが、既知の入力が与えられると、それを計算できます。

\frac{d z}{d w_{1}} = w_{2} + \cos (w_{1}) = 3 + \cos (2) = 2.58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

以来とのためだけの別名ですと、私たちは答えを得ます： $w_1$ $w_2$ $x_1$ $x_2$

\frac{d z}{d x_{1}} = 2.58

$\frac{dz}{dx_1} = 2.58$

\frac{d z}{d x_{2}} = 2

$\frac{dz}{dx_2} = 2$

以上です！

この説明はスカラー入力、つまり数値のみに関するものですが、実際にはベクトルや行列などの多次元配列にも適用できます。このようなオブジェクトで式を区別する際に留意すべき2つのこと：

導関数は、入力または出力よりもはるかに高い次元を持ちます。たとえば、ベクトルwrtの導関数は行列であり、行列wrtの導関数は4次元配列（テンソルと呼ばれることもあります）です。多くの場合、そのような導関数は非常にまばらです。
出力配列の各コンポーネントは、入力配列の1つ以上のコンポーネントの独立した関数です。例えば、でとが両方ともベクトルの場合、はに依存せず、サブセットのみに依存します。特に、これは、導関数を見つけることは、がどのように依存するかを追跡することになります。 $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

自動差別化の力は、条件やループなどのプログラミング言語からの複雑な構造を処理できることです。ただし、必要なのが代数式であり、シンボリック表現を操作するのに十分なフレームワークがある場合は、完全なシンボリック式を構築できます。実際、この例では、式を生成し、必要な入力に対してこの導関数を計算できます。 $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— 友だち
ソース

非常に便利な質問/回答。ありがとう。ちょっとした批判：あなたは説明せずに木構造の上を移動するようです（それはあなたが両親などについて話し始めるときです）

— MadHatter

また、なぜ種が必要なのかを明確にするのに害はありません。

— MadHatter

@MadHatter、コメントありがとう。グラフ構造を強調するために、いくつかの段落（親を参照する段落）を言い換えることを試みました。この名前自体は私の意見では誤解を招くかもしれませんが、テキストにも「シード」を追加しました。ADではシードは常に固定式です-、選択または生成できるものではありません。

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

— -ffriend

ありがとう！複数の「シード」を設定する必要がある場合、通常は1と0を選択することに気付きました。理由を知りたいのですが。つまり、差分wrt自体の「商」を使用するため、「1」は少なくとも直感的に正当化されます。しかし、0はどうでしょうか。また、2つ以上の種子を選択する必要がある場合はどうなりますか？

— MadHatter

私の知る限り、複数のシードはフォワードモードADでのみ使用されます。この場合、区別したい入力変数のシードを1に設定し、他のすべての入力変数のシードを0に設定して、出力値に寄与しないようにします。リバースモードでは、シードを出力変数に設定します。通常、出力変数は1つしかありません。いくつかの出力変数でリバースモードのADパイプラインを構築し、1以外のすべてを0に設定して、フォワードモードと同じ効果を得ることができると思いますが、このオプションを調査したことはありません。

— ffriend