単層ニューラルネットワークの勾配をその入力に対して導出する場合、チェーンルールの演算子は何ですか？

問題は：

クロスエントロピー損失のある入力->非表示、非表示->出力にシグモイドを使用する単一の非表示層ニューラルネットワークの入力層に関する勾配を導出します。

チェーンルールを使用してほとんどの派生を通過できますが、実際にそれらを「チェーン」する方法については不明です。

いくつかの表記法を定義する

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ 、はシグモイド関数です $\sigma$

$\theta = hW_2+b_2$ 、

$\hat{y} = S \left( \theta \right)$ 、はソフトマックス関数 $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ 、は実際のラベルのワンホットベクトル $y$

次に、連鎖ルールによって、

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

個別のグラデーションは次のとおりです。

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

ここで、定義をチェーン化する必要があります。単一変数ではこれは簡単です。すべてを掛け合わせるだけです。ベクトルでは、要素ごとの乗算と行列の乗算のどちらを使用するかわかりません。

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

ここで、はベクトルの要素ごとの乗算であり、は行列乗算です。この操作の組み合わせは、これらを組み合わせて次元ベクトルを取得する唯一の方法です。これは、があることを知っています。 $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

私の質問は、どの演算子を使用するかを理解するための原則的な方法は何ですか？私は、特に間の要素ごとの1のために必要で混乱してると。 $W_2^T$ $h$

ありがとう！

neural-networks gradient

— 天川
ソース

入力への勾配を見つけることはあまり行われていないことに気づきました。これは、「入力」単語ベクトルを最適化するオプションがある場合、単語の埋め込みの計算へのリードであると思います。

— アマツカワ2016

どのようにディディを作成するかdJ / dTheta

— raaj

回答:

この質問に答える鍵は、要素ごとの乗算が実際には省略形であることを指摘することであり、したがって、方程式を導き出すとき、それを実際に使用することは決してないということです。

実際の操作は、要素毎の乗算代わりの勾配の標準行列乗算ないヤコビアン、常に。

非線形性の場合、非線形性のベクトル入力に対する非線形性のベクトル出力のヤコビアンは、たまたま対角行列になります。したがって、この行列を乗算した勾配は、非線形性の入力に関する非線形性のすべての偏微分を含むベクトルを要素ごとに乗算した、損失に関する非線形性の出力の勾配と等価です。しかし、これはヤコビアンが対角であることから続きます。要素ごとの乗算にたどり着くには、ヤコビアンステップを通過する必要があります。

数学では、いくつかの非線形性、損失、および非線形性への入力があります（これは任意のテンソルである可能性があります）。非線形性の出力は同じ次元持っています --- @Loganが言うように、活性化関数は要素ごとに定義されます。 $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

我々が望む

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

ここで、はのヤコビアンです。このヤコビアンを展開すると、 $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

対角線を除いてどこでもゼロであることがわかります。すべての対角要素ベクトルを作成できます

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

そして、要素ごとの演算子を使用します。

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— user0
ソース

アクティベーション関数に比例すると、操作は要素ごとになります。具体的には、例を使用すると、は逆伝播微分でありは活性化微分であり、それらの積は要素ごとの積。これは、活性化関数がニューラルネットワークの要素ごとの操作として定義されているためです。 $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

cs224d 講義スライド 30ページを参照してください。

— ローガン
ソース