ニューラルネットワークで使用されるコスト関数のリストとアプリケーション

133

ニューラルネットワークのパフォーマンスの評価に使用される一般的なコスト関数は何ですか？

詳細

（この質問の残りの部分は自由にスキップしてください。ここでの私の意図は、回答が一般読者に理解しやすくするために使用できる表記法を明確にすることです）

共通のコスト関数のリストを、それらが実際に使用されているいくつかの方法と一緒に持っていると便利だと思います。だから、他の人がこれに興味があるなら、コミュニティwikiがおそらく最良のアプローチだと思うか、トピックから外れている場合は削除することができます。

表記法

まず、これらを説明するときに全員が使用する表記法を定義したいので、回答が互いにうまく適合するようにします。

この表記は、ニールセンの本からのものです。

フィードフォワードニューラルネットワークは、互いに接続されたニューロンの多くの層です。次に、入力を受け取り、その入力はネットワークを「トリクル」し、ニューラルネットワークは出力ベクトルを返します。

より正式には層のニューロンの活性化（別名出力）と呼びます。ここでは入力ベクトルの要素です。 $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

次に、次の関係を介して、次のレイヤーの入力を前のレイヤーの入力に関連付けることができます。

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

どこ

$\sigma$ はアクティベーション関数です。

$w^i_{jk}$ から重量であるのニューロンにレイヤのニューロン層、 $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

$b^i_j$ は、層のニューロンのバイアスです。 $j^{th}$ $i^{th}$

$a^i_j$ は、層のニューロンの活性化値を表します。 $j^{th}$ $i^th$

、つまり、活性化関数を適用する前のニューロンの活性化値を表すを書くことがあります。 $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

ここに画像の説明を入力してください

より簡潔な表記については、次のように記述できます。

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

この式を使用して、入力フィードフォワードネットワークの出力を計算するには、設定し、、...、計算ます、ここでmはレイヤーの数です。 $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

前書き

コスト関数は、与えられたトレーニングサンプルと期待される出力に関して、ニューラルネットワークが「どれだけ良い」かを示す尺度です。また、重みやバイアスなどの変数にも依存する場合があります。

コスト関数は、ベクトルではなく単一の値です。これは、ニューラルネットワーク全体のパフォーマンスを評価するためです。

具体的には、コスト関数は次の形式です

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

ここで、はニューラルネットワークの重み、はニューラルネットワークのバイアス、は単一のトレーニングサンプルの入力、はそのトレーニングサンプルの望ましい出力です。この関数は、レイヤーニューロンおよびにも依存する可能性があることに注意してください。これらの値は、、および依存しているためです。 $W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

バックプロパゲーションでは、費用関数は、私たちの出力層の誤差を計算するために使用される経由して、 $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{i})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$ 。

これは、次の方法でベクトルとして書き込むこともできます

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{i})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$ 。

2番目の方程式の観点からコスト関数の勾配を提供しますが、これらの結果自体を証明したい場合は、作業が簡単なので最初の方程式を使用することをお勧めします。

コスト関数の要件

バックプロパゲーションで使用するには、コスト関数が2つのプロパティを満たしている必要があります。

1：コスト関数は平均として記述できる必要があります $C$

C = \frac{1}{n} \sum_{x} C_{x}

$C=\frac{1}{n} \sum\limits_x C_x$

コスト関数の上に個々の訓練例について、。 $C_x$ $x$

これにより、1つのトレーニング例の（重みとバイアスに関する）勾配を計算し、勾配降下を実行できます。

2：コスト関数は、出力値以外にニューラルネットワークの活性化値に依存してはなりません。 $C$ $a^L$

技術的には、コスト関数はまたは依存する場合がます。最後のレイヤーの勾配を見つけるための方程式は、コスト関数に依存する唯一のものであるため（残りは次のレイヤーに依存するため）、この制限を行って、逆伝播できるようにします。コスト関数が出力以外のアクティベーションレイヤーに依存している場合、「逆方向にトリクルする」という考え方が機能しなくなるため、バックプロパゲーションは無効になります。 $a^i_j$ $z^i_j$

また、アクティベーション関数は、すべてのに対して出力を持つ必要があります。したがって、これらのコスト関数はその範囲内でのみ定義する必要があります（たとえば、が保証されてため、は有効です）。 $0\leq a^L_j \leq 1$ $j$ $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— フィリイダ
ソース

これはQ＆Aサイトであり、この投稿の形式は実際には当てはまりません。おそらく、コンテンツの大部分を回答に入れて、質問だけを残してください（たとえば、NNで使用されるコスト関数のリストは何ですか？）。

— ロジャーファン

さて、それは良いですか？定義は重要だと思います。さもないと、作家が使う用語に慣れていない人にとっては答えが曖昧になります。

— フィリイダ

しかし、異なる答えが異なる表記法または用語を使用している場合はどうでしょうか？

— ロジャーファン

ここでは、誰もが同じ用語を使用し、異なる場合はこれに変換するので、答えは互いに「適合する」という考え方です。しかし、役に立たないと思われる場合は削除できると思います。

— フィリイダ

質問の詳細は本当に必要でも関連でもないと思います。それは少し過剰で制限的なようですが、それは私だけです。

— ロジャーファン

回答:

ここに私がこれまでに理解しているものがあります。これらのほとんどは、0〜1の値を指定したときに最適に機能します。

二次コスト

平均二乗誤差、最尤、および和二乗誤差とも呼ばれ、これは次のように定義されます。

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C_{M S T} = (a^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

クロスエントロピーコスト

ベルヌーイの負の対数尤度およびバイナリクロスエントロピーとしても知られています

C_{C E} (W, B, S^{r}, E^{r}) = - \sum_{j} [E_{j}^{r} ln a_{j}^{L} + (1 - E_{j}^{r}) ln (1 - a_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C_{C E} = \frac{(a^{L} - E^{r})}{(1 - a^{L}) (a^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

指数費用

これには、希望する動作が得られると思われるパラメータを選択する必要があります。通常は、うまくいくまでこれをいじるだけです。 $\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

ここで、は省略形です。 $\text{exp}(x)$ $e^x$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C = \frac{2}{τ} (a^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

書き直すことができましたが、それは冗長なようです。ポイントは、勾配がベクトルを計算し、それを乗算することです。 $C_{EXP}$ $C_{EXP}$

ヘリンジャー距離

C_{H D} (W, B, S^{r}, E^{r}) = \frac{1}{\sqrt{2}} \sum_{j} (\sqrt{a_{j}^{L}} - \sqrt{E_{j}^{r}})^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

詳細については、こちらをご覧ください。これは、正の値を持っている必要があり、理想的に間の値と。次の分岐についても同様です。 $0$ $1$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C = \frac{\sqrt{a^{L}} - \sqrt{E^{r}}}{\sqrt{2} \sqrt{a^{L}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

カルバック–ライブラーの発散

情報発散、情報ゲイン、相対エントロピー、KLIC、またはKL発散とも呼ばれます（こちらを参照）。

Kullback–Leiblerの発散は通常、で示され。

D_{K L} (P ‖ Q) = \sum_{i} P (i) \ln \frac{P (i)}{Q (i)}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

ここで、は、を使用してを近似するときに失われる情報の尺度です。したがってを使用しを近似ときに失われる情報量を測定するためおよびます。これは私たちに与えます $D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

ここでの他の分岐は、およびを設定するという同じ考え方を使用しています。 $P=E^i$ $Q=a^L$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C = - \frac{E^{r}}{a^{L}}

$\nabla_a C = -\frac{E^r}{a^L}$

一般化されたカルバック-ライブラー発散

ここから。

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}} - \sum_{j} (E_{j}^{r}) + \sum_{j} (a_{j}^{L})

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C = \frac{a^{L} - E^{r}}{a^{L}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

板倉－斎藤距離

また、からここに。

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} (\frac{E_{j}^{r}}{a_{j}^{L}} - \log \frac{E_{j}^{r}}{a_{j}^{L}} - 1)

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

ニューラルネットワークの出力とサンプルに関するこのコスト関数の勾配は次のとおりです。 $r$

\nabla_{a} C = \frac{a^{L} - E^{r}}{{(a^{L})}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

ここで、。言い換えれば、は各要素を二乗することに等しい。 $\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— フィリイダ
ソース

共有していただきありがとうございます。次のことも考慮してください。github.com

— ヤニスアサエル

あなたは、クロスエントロピー誘導体の分母で小さなミスを持って、それがあるべきa*(1-a)ではないa*(1+a)

— アムロ

また、ピンボール損失関数を表示して、平均誤差ではなく誤差分位数を最小限に抑えることもできます。意思決定支援システムで非常に使用されます。

— リカルドクルーズ

これらのグラフはどこで見ることができますか？

— コイソ

二次コスト関数に関しては、「平均二乗誤差」「最大尤度」「合計二乗誤差」に注意する必要があります。著者は名前を（誤って）同じ意味で使用する場合がありますが、同じものではありません。

\neq

$\neq$

\neq

$\neq$

— ジョン

コメントする評判はありませんが、最後の3つのグラデーションには符号エラーがあります。

KL発散では、これGeneralized KL divergenceに同じ符号エラーが表示されます。

\begin{aligned} C & = \sum_{j} E_{j} \log (E_{j} / a_{j}) \\ = \sum_{j} E_{j} \log (E_{j}) - E_{j} \log (a_{j}) \\ d C & = - \sum_{j} E_{j} d \log (a_{j}) \\ = - \sum_{j} (E_{j} / a_{j}) d a_{j} \\ \nabla_{a} C & = \frac{- E}{a} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$

板倉-斎藤距離では、

\begin{aligned} C & = \sum_{j} (E_{j} / a_{j}) - \log (E_{j} / a_{j}) - 1 \\ = \sum_{j} (E_{j} / a_{j}) - \log (E_{j}) + \log (a_{j}) - 1 \\ d C & = \sum_{j} (- E_{j} / a_{j}^{2}) d a_{j} + d \log (a_{j}) \\ = \sum_{j} (1 / a_{j}) d a_{j} - (E_{j} / a_{j}^{2}) d a_{j} \\ = \sum_{j} (a_{j} - E_{j}) / a_{j}^{2} d a_{j} \\ \nabla_{a} C & = \frac{a - E}{(a)^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— 率直な
ソース