逆伝播の背後にある直感の明確化

7

私は、日常生活で使用している機械学習アルゴリズムの計算とメカニズムを理解するために、少し時間をかけています。

CS231nコースのバックプロパゲーションに関する文献を研究しているので、研究を続ける前にチェーンルールを正しく理解していることを確認したいと思います。

私がシグモイド関数を持っているとしましょう：

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1+e^{-x}}$

この場合、 $x=w0x0+w1x1+w2$

この関数を計算グラフとして書くことができます（今のところ色付きの値は無視しています）：

我々は、グループシグモイドの勾配を計算するためのモジュール化ノード缶単一の導出にその入力を： $w.r.t.$

\frac{d σ (x)}{d x} = (1 - σ (x)) σ (x)

$\frac{d\sigma(x)}{d x}=(1 - \sigma(x))\sigma(x)$

最初に、前方伝搬を実行して、各ユニットの出力を取得します。

w = [2,-3,-3] 
x = [-1, -2]

# Compute the forward pass 
product = [w[0]*x[0]+w[1]*x[1]+w[2]]
activation = 1 / 1 + math.exp(-product)

活性化の勾配を計算するには、上記の式を使用できます。

grad_product = (1 - activation) * activation

私が混乱しているかもしれない、または少なくとも直感的ではないと感じる場所では、xおよびの勾配を計算していwます：

grad_x = [w[0] * activation + w[2] * activation]
grad_w = [x[0] * activation + x[1] * activation + 1 * activation]

より具体的には1 * activation、勾配 wを計算するときになぜ適用するのか混乱しています。 $w.r.t.$

xとwの両方の勾配の計算を推論しようとすると、読者が理論上の困難を見つけるのに役立つかもしれません...

各の勾配は、乗算の規則の下で対応するによって与えられます場合、です。次に、チェーンルールを使用して、これらのローカルグラディエントに（各パスの）連続するノードのグラジエントを乗算して、関数出力に対するそのグラディエントを取得します。これは計算するための計算を説明しています。 $x_i$ $w_i$ $f(x,y) = f(xy)$ $\frac{\partial f}{\partial x}=y$ $x$ $\partial x$

の勾配は、上記で説明したとまったく同じ（逆）方法で与えられます。この追加の表現はから来ているとますか？加算単位の局所勾配はすべての入力で常に1であり、乗算は勾配を関数の出力にチェーンした結果ですか？ $w_i$ 1 * activation $w_2$ activation

私は現在の理解に部分的に自信がありますが、勾配の計算に含まれる計算に関する私の現在の直感を誰かが明確にしてくれるとありがたいです。

machine-learning intuition backpropagation

— サム
ソース

0

計算したいのは

\frac{\partial σ (\hat{x})}{\partial \vec{x}} = [\frac{\partial σ (\hat{x})}{\partial x_{0}}, \frac{\partial σ (\hat{x})}{\partial x_{1}}]

$\frac{\partial \sigma(\hat{x})}{\partial \vec{x}}=\left[\frac{\partial \sigma(\hat{x})}{\partial x_0},\frac{\partial \sigma(\hat{x})}{\partial x_1}\right]$

そして

\frac{\partial σ (\hat{x})}{\partial \vec{w}} = [\frac{\partial σ (\hat{x})}{\partial w_{0}}, \frac{\partial σ (\hat{x})}{\partial w_{1}}, \frac{\partial σ (\hat{x})}{\partial w_{2}}]

$\frac{\partial \sigma({\hat{x}})}{\partial \vec{w}}=\left[\frac{\partial \sigma(\hat{x})}{\partial w_0},\frac{\partial \sigma(\hat{x})}{\partial w_1},\frac{\partial \sigma(\hat{x})}{\partial w_2}\right]$

は実際にはように、これらの変数の関数であることを知っています。 $\hat{x}$ $\hat{x}=w_0x_0+w_1x_1+w_2$

チェーンルールを使用して、次のように計算できます。

\frac{\partial σ (\hat{x})}{\partial x_{0}} = \frac{\partial σ (\hat{x})}{\partial \hat{x}} \frac{\partial \hat{x}}{\partial x_{0}}

$\frac{\partial \sigma(\hat{x})}{\partial x_0}=\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}\frac{\partial \hat{x}}{\partial x_0}$

あなたはすでに知っています $\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}$

その

\frac{\partial σ (\hat{x})}{\partial \hat{x}} = (1 - σ (\hat{x})) σ (\hat{x})

$\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}=(1-\sigma(\hat{x}))\sigma(\hat{x})$

そして、2次導関数は自明です（多項式です！）。これで、5つの偏微分についてのみ計算する必要があります。要するに： $\frac{\partial \hat{x}}{\partial x_0}=w_0$

\frac{\partial σ (\hat{x})}{\partial \vec{x}} = [\frac{\partial σ (\hat{x})}{\partial \hat{x}} w_{0}, \frac{\partial σ (\hat{x})}{\partial \hat{x}} w_{1}]

$\frac{\partial \sigma(\hat{x})}{\partial \vec{x}}=\left[\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}w_0,\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}w_1\right]$

\frac{\partial σ (\hat{\hat{x}})}{\partial \vec{w}} = [\frac{\partial σ (\hat{x})}{\partial \hat{x}} x_{0}, \frac{\partial σ (x)}{\partial \hat{x}} x_{1}, \frac{\partial σ (\hat{x})}{\partial \hat{x}}]

$\frac{\partial \sigma(\hat{\hat{x}})}{\partial \vec{w}}=\left[\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}x_0,\frac{\partial \sigma(x)}{\partial \hat{x}}x_1,\frac{\partial \sigma(\hat{x})}{\partial \hat{x}}\right]$

— アンデル・ビグリ
ソース

2

プログラマーのバックプロパゲーションを理解する最良の方法は、再帰としてのチェーンルールの観点からです。

ここにチェーンルールがあります。ネストされた関数式ます。最初に、2つの異なる関数として見ます：順方向伝搬を行う場合、それはこの擬似コードに他なりません： $y=f(g(x))$

f (x) g (x)

$f(x)\\g(x)$

t = g (x) y = f (t)

$t=g(x)\\ y=f(t)$

ここで、導関数を取得する場合は、チェーンルールを適用します where and これは基本的に、ネストされた構造の再帰です。場合は、その後、あなたはもう一度チェーンのルールを適用し、あなたがNNの場合は下、すなわち入力層に達するまでそれをやり続けます。

y^{'} = f (g (x))^{'} = f^{'} g^{'}

$y'=f(g(x))'=f'g'$

f^{'} = d f (t) / d t

$f'=df(t)/dt$

g^{'} = d g (x) / d x

$g'=dg(x)/dx$

g (x) = g (h (x))

$g(x)=g(h(x))$

これが1つのニューロンの例ですここには、と 2つの関数があります。

a = s i g m o i d (W x + b)

$a=sigmoid(Wx+b)$

s i g m o i d (x)

$sigmoid(x)$

W x + b

$Wx+b$

ニューロンの2つの層がある場合、それはそれほど違いはありません：後退します：

s i g m o i d (W_{1} * s i g m o i d (W x + b) + b_{1})

$sigmoid(W_1*sigmoid(Wx+b)+b_1)$

z = W x + b a_{1} = s i g m o i d (z) z_{1} = W_{1} * a_{1} + b_{1} a_{2} = s i g m o i d (z_{1})

$z=Wx+b\\a_1=sigmoid(z)\\z_1=W_1*a_1+b_1\\a_2=sigmoid(z_1)$

— アクサカル
ソース