ニューラルネットワークのクロスエントロピーコスト関数

私はこのチュートリアルにあるクロスエントロピーコスト関数を見ています：

$$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

正確には何を合計しているのですか？それはもちろん、上、あるが、とで変わらない。すべてのは、1つのへの入力です。 は、方程式の上の段落で、すべてのとの合計の関数として定義されています。 $x$$y$$a$$x$$x$$a$$a$$w$$x$

また、はこの特定のニューロンへの入力数として定義されていますよね？「トレーニングデータの総数」と表現されています。$n$

---

編集：

私はそれを正しいと思いますか

$$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

ネットワーク全体のコスト関数になりますが、

$$C = [y \ln a+(1−y)\ln(1−a)]$$

個々のニューロンのコストでしょうか？合計は各出力ニューロンを超えるべきではありませんか？

次に、クロスエントロピー損失を表す方法を示します。

$$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$$

ここで、はトレーニングデータセットの入力例のセットであり、は、これらの入力例に対応するラベルのセットです。入力所与のニューラルネットワークの出力を表し。$X = \left\{x^{(1)},\dots,x^{(n)}\right\}$$Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$$a(x)$$x$

各は0または1であり、出力のアクティブ化は通常、ロジスティックシグモイドを使用することにより、開いている間隔（0、1に制限されます。たとえば、1層ネットワーク（ロジスティック回帰と同等）の場合、アクティブ化はによって与えられここではa重み行列、はバイアスベクトルです。複数のレイヤーの場合、アクティベーション関数をように拡張できますここで、とは最初のレイヤーの重み行列とバイアス、$y^{(i)}$$a(x)$

$$a(x) = \frac{1}{1 + e^{-Wx-b}}$$ $W$$b$ $$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$$ $V$$c$$z(x)$ ネットワークの非表示層のアクティブ化です。

Andrew Ngの機械学習コースで非常に効果的であることがわかったので、例を示すために（i）上付き文字を使用しました。例はマトリックスの列または行として例を表すことがありますが、考え方は同じです。

正確には何を合計しているのですか？

チュートリアルは実際にはかなり明示的です：

...はトレーニングデータのアイテムの合計数で、合計はすべてのトレーニング入力の合計です...$n$

チュートリアルで与えられた元の単一ニューロンのコスト関数（Eqn。57）にも下に添え字があり、これがこのことを示唆しています。単一のニューロンの場合、トレーニング例以外に合計するものはありません。これは、を計算ときにすでにすべての入力の重みを合計しです。$x$$\Sigma$$a$

$$a = \sum_{j} w_jx_j.$$

---

同じチュートリアルの後半で、Nielsenは多層マルチニューロンネットワークのコスト関数の式を与えます（式63）。

$$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$$

この場合、合計はトレーニング例（）と出力層の個々のニューロン（）の両方に適用されます。$x$$j$