タグ付けされた質問 「differential-equations」

私のコンピューターでニューラルネットワークをトレーニングするプログラムを作成しようとしています。問題のネットワークでは、クロスエントロピーエラー関数を使用することにしました。 E= − ∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j ここで、はNeuron jのターゲット出力であり、o jはそのニューロンの出力であり、t jを予測しようとします。tjtjt_jjjjojojo_jtjtjt_j 私が何を知りたい、いくつかのニューロンのためであるJ。私の直感（プラス微積分の私の限られた知識）この値がなければならないことを信じるように私を導く-トンのJδEδojδEδoj\frac{\delta E}{\delta o_j}jjj。− tjoj−tjoj-\frac{t_j}{o_j} ただし、これは正しくないようです。クロスエントロピーは、o j = e z jのように、softmax関数と併用されることがよくあります。ここで、zはソフトマックスレイヤー内のすべてのニューロンへの入力のセットです（ここを参照）。oj= ezjΣkezkoj=ezj∑kezko_j = \frac{e^{z_j}}{\sum_ke^{z_k}} このファイル、私はそれを集める：δojδzj= oj（1 − oj）δojδzj=oj(1−oj)\frac{\delta o_j}{\delta z_j} = o_j(1 - o_j) よると、この質問： しかし、私の以前の推測と、この競合δEδEδzj= tj− ojδEδzj=tj−oj\frac{\delta E}{\delta z_j} = t_j - o_j。どうして？δEδojδEδoj\frac{\delta E}{\delta o_j} 。⇒δEJδEjδzj= δEjδojδojδzjδEjδzj=δEjδojδojδzj\frac{\delta E_j}{\delta z_j}=\frac{\delta …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations