クロスエントロピーの微分

私のコンピューターでニューラルネットワークをトレーニングするプログラムを作成しようとしています。問題のネットワークでは、クロスエントロピーエラー関数を使用することにしました。

E = - \sum_{j} t_{j} \ln o_{j}

$E = -\sum_jt_j\ln o_j$

ここで、はNeuron ターゲット出力であり、はそのニューロンの出力であり、を予測しようとします。 $t_j$ $j$ $o_j$ $t_j$

私が何を知りたい、いくつかのニューロンのためである。私の直感（プラス微積分の私の限られた知識）この値がなければならないことを信じるように私を導く $\frac{\delta E}{\delta o_j}$ $j$ 。 $-\frac{t_j}{o_j}$

ただし、これは正しくないようです。クロスエントロピーは、ように、softmax関数と併用されることがよくあります。ここで、zはソフトマックスレイヤー内のすべてのニューロンへの入力のセットです（ここを参照）。

o_{j} = \frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}

$o_j = \frac{e^{z_j}}{\sum_ke^{z_k}}$

このファイル、私はそれを集める：

\frac{δ o_{j}}{δ z_{j}} = o_{j} (1 - o_{j})

$\frac{\delta o_j}{\delta z_j} = o_j(1 - o_j)$

よると、この質問：しかし、私の以前の推測と、この競合

\frac{δ E}{δ z_{j}} = t_{j} - o_{j}

$\frac{\delta E}{\delta z_j} = t_j - o_j$

。どうして？

\frac{δ E}{δ o_{j}}

$\frac{\delta E}{\delta o_j}$

\frac{δ E_{j}}{δ z_{j}} = \frac{δ E_{j}}{δ o_{j}} \frac{δ o_{j}}{δ z_{j}}

$\frac{\delta E_j}{\delta z_j}=\frac{\delta E_j}{\delta o_j}\frac{\delta o_j}{\delta z_j}$

\Rightarrow \frac{δ E_{j}}{δ o_{j}} = \frac{δ E_{j}}{δ z_{j}} \div \frac{δ o_{j}}{δ z_{j}}

$\Rightarrow\frac{\delta E_j}{\delta o_j}=\frac{\delta E_j}{\delta z_j}\div\frac{\delta o_j}{\delta z_j}$

= \frac{t_{j} - o_{j}}{o_{j} (1 - o_{j})}

$= \frac{t_j-o_j}{o_j(1-o_j)}$

- \frac{t_{j}}{o_{j}}

$-\frac{t_j}{o_j}$

\frac{δ E_{j}}{δ o_{j}}

$\frac{\delta E_j}{\delta o_j}$

machine-learning neural-networks derivative cross-entropy differential-equations

— ジェノ・ラックリン・アッシャー
ソース

$\frac{\partial E}{\partial o_j}$ $\frac{\partial E}{\partial z_j}$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}$

i = j

$i=j$

\frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} = - \frac{t_{j}}{o_{j}} o_{j} (1 - o_{j}) = t_{j} o_{j} - t_{j}

$\frac{\partial E}{\partial o_j}\frac{\partial o_j}{\partial z_j}=-\frac{t_j}{o_j}o_j(1-o_j)=t_jo_j-t_j$

i \neq j

$i\neq j$

\frac{\partial o_{i}}{\partial z_{j}} = \frac{\partial \frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}}{\partial z_{j}} = - \frac{e^{z_{i}}}{(\sum_{k} e^{z_{k}})^{2}} e^{z_{j}} = - o_{i} o_{j}

$\frac{\partial o_i}{\partial z_j}=\frac{\partial \frac{e^{z_i}}{\sum_ke^{z_k}}}{\partial z_j}=-\frac{e^{z_i}}{(\sum_ke^{z_k})^2}e^{z_j}=-o_io_j$

\frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = - \frac{t_{i}}{o_{i}} (- o_{i} o_{j}) = t_{i} o_{j}

$\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=-\frac{t_i}{o_i}(-o_io_j)=t_io_j$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = \sum_{i} t_{i} o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=\sum_it_io_j-t_j$

t

$t$

\sum_{i} t_{i} = 1

$\sum_it_i=1$

\frac{\partial E}{\partial z_{j}} = o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=o_j-t_j$

— ドントル
ソース