94

ニューラルネットワークの活性化関数の長所と短所（および理想的には成功した、またはあまり成功していない出版物へのいくつかのポインター）の包括的なリストを提供する参照文書はありますか？

neural-networks references

— フランク・ダーノンクール
ソース

ANNについては十分に知りませんが、アクティベーション関数の形状が大きく異なる場合を除き、それらを区別することは非常に困難です。類似の状況については、ここで私の答えを見ることができます：ロジットモデルとプロビットモデルの違い。

— グン

1

いいえ、それは非常に大きな違いをもたらします。

— ヴィリアミ

en.wikipedia.org/wiki/Activation_functionは優れたリソースです。あなたには、他の多くを使用することができますsin(x)参照、openreview.net/pdf?id=Sks3zF9egを。

— ピョートル

アクティベーション機能に関するビデオチュートリアルについては、quickkt.com

— intelligence

144

ここで、これまでに学んだことのリストを作成します。@marcodenaが言ったように、長所と短所はこれらのことを試すことから学んだ単なる発見的手法であるためより困難ですが、少なくともそれらが害を及ぼさないリストを持っていると思います。

まず、混乱を避けるために、表記法を明示的に定義します。

表記法

この表記は、ニールセンの本からのものです。

フィードフォワードニューラルネットワークは、互いに接続されたニューロンの多くの層です。入力を受け取り、その入力はネットワークを「トリクル」し、ニューラルネットワークは出力ベクトルを返します。

より正式には層のニューロンの活性化（別名出力）と呼びます。ここでは入力ベクトルの要素です。 $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

次に、次の関係を介して、次のレイヤーの入力を前のレイヤーの入力に関連付けることができます。

a_{j}^{i} = σ (\sum_{k} (w_{j k}^{i} \cdot a_{k}^{i - 1}) + b_{j}^{i})

$a^i_j = \sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

どこ

$\sigma$ はアクティベーション関数です。
$w^i_{jk}$ から重量であるのニューロンにレイヤのニューロン層、 $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$
$b^i_j$ は、層のニューロンのバイアスです。 $j^{th}$ $i^{th}$
$a^i_j$ は、層のニューロンの活性化値を表します。 $j^{th}$ $i^{th}$

、つまり、活性化関数を適用する前のニューロンの活性化値を表すを書くことがあります。 $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

ここに画像の説明を入力してください

より簡潔な表記については、次のように記述できます。

a^{i} = σ (w^{i} \times a^{i - 1} + b^{i})

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

この式を使用して、入力フィードフォワードネットワークの出力を計算するには、設定し計算。ここで、はレイヤーの数です。 $I \in \mathbb{R}^n$ $a^1 = I$ $a^2, a^3, \ldots, a^m$ $m$

アクティベーション関数

（以下では、読みやすさのために代わりにを記述します） $\exp(x)$ $e^x$

身元

線形活性化関数とも呼ばれます。

a_{j}^{i} = σ (z_{j}^{i}) = z_{j}^{i}

$a^i_j = \sigma(z^i_j) = z^i_j$

ステップ

a_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} 0 & if z_{j}^{i} < 0 \\ 1 & if z_{j}^{i} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < 0 \\ 1 & \text{if } z^i_j > 0 \end{cases}$

ステップ

区分線形

「範囲」であると選択します。この範囲よりも小さいものはすべて0になり、この範囲よりも大きいものはすべて1になります。それ以外は線形に補間されます。正式に： $x_{\min}$ $x_{\max}$

a_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} 0 & if z_{j}^{i} < x_{min} \\ m z_{j}^{i} + b & if x_{min} \leq z_{j}^{i} \leq x_{max} \\ 1 & if z_{j}^{i} > x_{max} \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < x_{\min} \\ m z^i_j+b & \text{if } x_{\min} \leq z^i_j \leq x_{\max} \\ 1 & \text{if } z^i_j > x_{\max} \end{cases}$

どこ

m = \frac{1}{x_{max} - x_{min}}

$m = \frac{1}{x_{\max}-x_{\min}}$

そして

b = - m x_{min} = 1 - m x_{max}

$b = -m x_{\min} = 1 - m x_{\max}$

区分線形

シグモイド

a_{j}^{i} = σ (z_{j}^{i}) = \frac{1}{1 + \exp (- z_{j}^{i})}

$a^i_j = \sigma(z^i_j) = \frac{1}{1+\exp(-z^i_j)}$

シグモイド

補完ログログ

a_{j}^{i} = σ (z_{j}^{i}) = 1 - \exp (- \exp (z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = 1 − \exp\!\big(−\exp(z^i_j)\big)$

補完ログログ

バイポーラ

a_{j}^{i} = σ (z_{j}^{i}) = {\begin{cases} - 1 & if z_{j}^{i} < 0 \\ 1 & if z_{j}^{i} > 0 \end{cases}

$a^i_j = \sigma(z^i_j) = \begin{cases} -1 & \text{if } z^i_j < 0 \\ \ \ \ 1 & \text{if } z^i_j > 0 \end{cases}$

バイポーラ

バイポーラシグモイド

a_{j}^{i} = σ (z_{j}^{i}) = \frac{1 - \exp (- z_{j}^{i})}{1 + \exp (- z_{j}^{i})}

$a^i_j = \sigma(z^i_j) = \frac{1-\exp(-z^i_j)}{1+\exp(-z^i_j)}$ バイポーラシグモイド

タン

a_{j}^{i} = σ (z_{j}^{i}) = \tanh (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \tanh(z^i_j)$

ルクンのタン

Efficient Backpropを参照してください。

a_{j}^{i} = σ (z_{j}^{i}) = 1.7159 \tanh (\frac{2}{3} z_{j}^{i})

$a^i_j = \sigma(z^i_j) = 1.7159 \tanh\!\left( \frac{2}{3} z^i_j\right)$

ルクンのタン

スケーリング：

LeCunのTanh Scaled

ハードタン

a_{j}^{i} = σ (z_{j}^{i}) = max (- 1, min (1, z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = \max\!\big(-1, \min(1, z^i_j)\big)$

ハードタン

絶対の

a_{j}^{i} = σ (z_{j}^{i}) =∣ z_{j}^{i} ∣

$a^i_j = \sigma(z^i_j) = \mid z^i_j \mid$

絶対の

整流器

Rectified Linear Unit（ReLU）、Max、またはRamp Functionとも呼ばれます。

a_{j}^{i} = σ (z_{j}^{i}) = max (0, z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)$

整流器

ReLUの変更

これらは、不思議な理由でMNISTにとって非常に良いパフォーマンスを持っているように見える、私が遊んでいるいくつかのアクティベーション関数です。

a_{j}^{i} = σ (z_{j}^{i}) = max (0, z_{j}^{i}) + \cos (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\cos(z^i_j)$

スケーリング：

a_{j}^{i} = σ (z_{j}^{i}) = max (0, z_{j}^{i}) + \sin (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\sin(z^i_j)$

スケーリング：

スムーズ整流器

Smooth Rectified Linear Unit、Smooth Max、またはSoft plusとも呼ばれます

a_{j}^{i} = σ (z_{j}^{i}) = \log (1 + \exp (z_{j}^{i}))

$a^i_j = \sigma(z^i_j) = \log\!\big(1+\exp(z^i_j)\big)$

スムーズ整流器

ロジット

a_{j}^{i} = σ (z_{j}^{i}) = \log (\frac{z_{j}^{i}}{(1 - z_{j}^{i})})

$a^i_j = \sigma(z^i_j) = \log\!\bigg(\frac{z^i_j}{(1 − z^i_j)}\bigg)$

ロジット

スケーリング：

ロジットスケーリング

プロビット

a_{j}^{i} = σ (z_{j}^{i}) = \sqrt{2} {erf}^{- 1} (2 z_{j}^{i} - 1)

$a^i_j = \sigma(z^i_j) = \sqrt{2}\,\text{erf}^{-1}(2z^i_j-1)$ 。

どこにである誤差関数。基本関数で説明することはできませんが、Wikipediaのページとこちらで逆に近似する方法を見つけることができます。 $\text{erf}$

または、次のように表現できます。

a_{j}^{i} = σ (z_{j}^{i}) = ϕ (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \phi(z^i_j)$ 。

どこある累積分布関数（CDF）。これを概算する方法については、こちらをご覧ください。 $\phi$

プロビット

スケーリング：

プロビットスケーリング

余弦

ランダムキッチンシンクを参照してください。

a_{j}^{i} = σ (z_{j}^{i}) = \cos (z_{j}^{i})

$a^i_j = \sigma(z^i_j) = \cos(z^i_j)$ 。

ソフトマックス

正規化指数とも呼ばれます。

a_{j}^{i} = \frac{\exp (z_{j}^{i})}{\sum_{k} \exp (z_{k}^{i})}

$a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$

単一のニューロンの出力はその層の他のニューロンに依存しているため、これは少し奇妙です。また、は非常に高い値になる可能性があるため、計算が難しくなります。この場合、はおそらくオーバーフローします。同様に、が非常に低い値の場合、アンダーフローしてなり。 $z^i_j$ $\exp(z^i_j)$ $z^i_j$ $0$

これに対抗するために、代わりに計算し。これにより、次のことができます。 $\log(a^i_j)$

\log (a_{j}^{i}) = \log (\frac{\exp (z_{j}^{i})}{\sum_{k} \exp (z_{k}^{i})})

$\log(a^i_j) = \log\left(\frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}\right)$

\log (a_{j}^{i}) = z_{j}^{i} - \log (\sum_{k} \exp (z_{k}^{i}))

$\log(a^i_j) = z^i_j - \log(\sum\limits_k \exp(z^i_k))$

ここでは、log-sum-expトリックを使用する必要があります。

私たちがコンピューティングしているとしましょう：

\log (e^{2} + e^{9} + e^{11} + e^{- 7} + e^{- 2} + e^{5})

$\log(e^2 + e^9 + e^{11} + e^{-7} + e^{-2} + e^5)$

最初に、便宜上指数関数を大きさでソートします。

\log (e^{11} + e^{9} + e^{5} + e^{2} + e^{- 2} + e^{- 7})

$\log(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7})$

次に、が最高であるため、を乗算し。 $e^{11}$ $\frac{e^{-11}}{e^{-11}}$

\log (\frac{e^{- 11}}{e^{- 11}} (e^{11} + e^{9} + e^{5} + e^{2} + e^{- 2} + e^{- 7}))

$\log(\frac{e^{-11}}{e^{-11}}(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7}))$

\log (\frac{1}{e^{- 11}} (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18}))

$\log(\frac{1}{e^{-11}}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

\log (e^{11} (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18}))

$\log(e^{11}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$

\log (e^{11}) + \log (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18})

$\log(e^{11}) + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

11 + \log (e^{0} + e^{- 2} + e^{- 6} + e^{- 9} + e^{- 13} + e^{- 18})

$11 + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$

次に、右側の式を計算し、そのログを取得できます。その合計はに関して非常に小さいため、これを行うことは問題ありません。したがって、0へのアンダーフローは、いずれにしても違いを生むほど重要ではありません。右側の式ではオーバーフローは発生しません乗算した後、すべてのべき乗がなることが保証されているためです。 $\log(e^{11})$ $e^{-11}$ $\leq 0$

正式には、。次に： $m=\max(z^i_1, z^i_2, z^i_3, ...)$

\log (\sum_{k} \exp (z_{k}^{i})) = m + \log (\sum_{k} \exp (z_{k}^{i} - m))

$\log\!(\sum\limits_k \exp(z^i_k)) = m + \log(\sum\limits_k \exp(z^i_k - m))$

その後、softmax関数は次のようになります。

a_{j}^{i} = \exp (\log (a_{j}^{i})) = \exp (z_{j}^{i} - m - \log (\sum_{k} \exp (z_{k}^{i} - m)))

$a^i_j = \exp(\log(a^i_j))=\exp\!\left( z^i_j - m - \log(\sum\limits_k \exp(z^i_k - m))\right)$

補足として、softmax関数の導関数は次のとおりです。

\frac{d σ (z_{j}^{i})}{d z_{j}^{i}} = σ^{'} (z_{j}^{i}) = σ (z_{j}^{i}) (1 - σ (z_{j}^{i}))

$\frac{d \sigma(z^i_j)}{d z^i_j}=\sigma^{\prime}(z^i_j)= \sigma(z^i_j)(1 - \sigma(z^i_j))$

マックスアウト

これも少し注意が必要です。基本的には、maxoutレイヤーの各ニューロンを多数のサブニューロンに分割し、それぞれに独自の重みとバイアスを持たせるという考え方です。次に、ニューロンへの入力はその代わりに各サブニューロンに行き、各サブニューロンは単に出力します（活性化関数を適用せずに）。そのニューロンのは、そのすべてのサブニューロンの出力の最大値になります。 $z$ $a^i_j$

正式には、単一のニューロンに、サブニューロンがとしましょう。それから $n$

a_{j}^{i} = max_{k \in [1, n]} s_{j k}^{i}

$a^i_j = \max\limits_{k \in [1,n]} s^i_{jk}$

どこ

s_{j k}^{i} = a^{i - 1} ∙ w_{j k}^{i} + b_{j k}^{i}

$s^i_{jk} = a^{i-1} \bullet w^i_{jk} + b^i_{jk}$

（はドット積です） $\bullet$

これについて考えるのを助けるために、たとえばシグモイド活性化関数を使用しているニューラルネットワークの層の重み行列を考えます。は2D行列です。各列は、前のレイヤーすべてのニューロンの重みを含むニューロンベクトルです。 $W^i$ $i^{\text{th}}$ $W^i$ $W^i_j$ $j$ $i-1$

サブニューロンがある場合、各サブニューロンには前のレイヤーのすべてのニューロンの重みを含むベクトルが必要になるため、各ニューロンの2D重み行列が必要になります。これは、が3D重み行列になり、各が単一のニューロン 2D重み行列になることを意味し。そして、は、ニューロンサブニューロンベクトルで、前の層すべてのニューロンの重みを含みます。 $W^i$ $W^i_j$ $j$ $W^i_{jk}$ $k$ $j$ $i-1$

同様に、たとえばシグモイド活性化関数を再び使用するニューラルネットワークでは、はレイヤー各ニューロンバイアスを持つベクトルです。 $b^i$ $b^i_j$ $j$ $i$

サブニューロンとこれを行うために、我々は、2Dバイアスマトリックス必要各層の、バイアスを有するベクトルである各subneuronのにおけるニューロン。 $b^i$ $i$ $b^i_j$ $b^i_{jk}$ $k$ $j^{\text{th}}$

各ニューロンの重み行列とバイアスベクトルを使用すると、上記の式が非常に明確になり、各サブニューロンの重みが出力単純に適用されます。レイヤー、次にバイアスを適用し、それらの最大値を取得します。 $w^i_j$ $b^i_j$ $w^i_{jk}$ $a^{i-1}$ $i-1$ $b^i_{jk}$

放射基底関数ネットワーク

放射基底関数ネットワークは、フィードフォワードニューラルネットワークの修正版です。

a_{j}^{i} = σ (\sum_{k} (w_{j k}^{i} \cdot a_{k}^{i - 1}) + b_{j}^{i})

$a^i_j=\sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$

前のレイヤーのノードごとに1つの重み（通常どおり）があり、さらに各ノードに1つの平均ベクトルと1つの標準偏差ベクトルがあります。前のレイヤー。 $w^i_{jk}$ $k$ $\mu^i_{jk}$ $\sigma^i_{jk}$

次に、活性化関数を呼び出して、標準偏差ベクトルと混同しないようにします。ここでを計算するには最初に前のレイヤーの各ノードに対して1つのを計算する必要があります。1つのオプションは、ユークリッド距離を使用することです。 $\rho$ $\sigma^i_{jk}$ $a^i_j$ $z^i_{jk}$

z_{j k}^{i} = \sqrt{‖ (a^{i - 1} - μ_{j k}^{i} ‖} = \sqrt{\sum_{ℓ} (a_{ℓ}^{i - 1} - μ_{j k ℓ}^{i})^{2}}

$z^i_{jk}=\sqrt{\Vert(a^{i-1}-\mu^i_{jk}\Vert}=\sqrt{\sum\limits_\ell (a^{i-1}_\ell - \mu^i_{jk\ell})^2}$

ここででの要素。これは使用しません。あるいは、マハラノビス距離があり、これはおそらくより良いパフォーマンスを発揮します。 $\mu^i_{jk\ell}$ $\ell^\text{th}$ $\mu^i_{jk}$ $\sigma^i_{jk}$

z_{j k}^{i} = \sqrt{(a^{i - 1} - μ_{j k}^{i})^{T} Σ_{j k}^{i} (a^{i - 1} - μ_{j k}^{i})}

$z^i_{jk}=\sqrt{(a^{i-1}-\mu^i_{jk})^T \Sigma^i_{jk} (a^{i-1}-\mu^i_{jk})}$

ここで、は次のように定義される共分散行列です。 $\Sigma^i_{jk}$

Σ_{j k}^{i} = diag (σ_{j k}^{i})

$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

つまり、は対角要素であるを含む対角行列です。ここでとを列ベクトルとして定義します。これは通常使用される表記法だからです。 $\Sigma^i_{jk}$ $\sigma^i_{jk}$ $a^{i-1}$ $\mu^i_{jk}$

これらは本当にマハラノビス距離が

z_{j k}^{i} = \sqrt{\sum_{ℓ} \frac{(a_{ℓ}^{i - 1} - μ_{j k ℓ}^{i})^{2}}{σ_{j k ℓ}^{i}}}

$z^i_{jk}=\sqrt{\sum\limits_\ell \frac{(a^{i-1}_{\ell} - \mu^i_{jk\ell})^2}{\sigma^i_{jk\ell}}}$

ここででの要素。なお、常に正でなければなりませんが、これは驚くべきことではないので、これは、標準偏差の典型的な要件です。 $\sigma^i_{jk\ell}$ $\ell^\text{th}$ $\sigma^i_{jk}$ $\sigma^i_{jk\ell}$

必要に応じて、マハラノビス距離は十分に一般的であるため、共分散行列は他の行列として定義できます。たとえば、共分散行列が単位行列の場合、マハラノビス距離はユークリッド距離に減少します。はかなり一般的であり、正規化ユークリッド距離として知られています。 $\Sigma^i_{jk}$ $\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

いずれにしても、距離関数が選択されると、を計算できます。 $a^i_j$

a_{j}^{i} = \sum_{k} w_{j k}^{i} ρ (z_{j k}^{i})

$a^i_j=\sum\limits_k w^i_{jk}\rho(z^i_{jk})$

これらのネットワークでは、理由により、アクティベーション関数を適用した後に重みで乗算することを選択します。

これは、多層放射基底関数ネットワークの作成方法を説明していますが、通常、これらのニューロンは1つだけであり、その出力はネットワークの出力です。単一ニューロンの各平均ベクトルおよび各標準偏差ベクトルは1つの「ニューロン」と見なされ、これらの出力のすべての後に別の層があるため、複数のニューロンとして描画されます。上記の同様にこれらの計算値の合計に重みをます。最後に「加算」ベクトルを使用して2つのレイヤーに分割するのは奇妙に思えますが、それは彼らが行うことです。 $\mu^i_{jk}$ $\sigma^i_{jk}$ $a^i_j$

こちらもご覧ください。

放射基底関数ネットワーク活性化関数

ガウス

ρ (z_{j k}^{i}) = \exp (- \frac{1}{2} (z_{j k}^{i})^{2})

$\rho(z^i_{jk}) = \exp\!\big(-\frac{1}{2} (z^i_{jk})^2\big)$

ガウス

多二次

ある点選択します。次に、からまでの距離を計算します。 $(x, y)$ $(z^i_j, 0)$ $(x, y)$

ρ (z_{j k}^{i}) = \sqrt{(z_{j k}^{i} - x)^{2} + y^{2}}

$\rho(z^i_{jk}) = \sqrt{(z^i_{jk}-x)^2 + y^2}$

これはウィキペディアからです。それは制限されておらず、正の値をとることができますが、正規化する方法があるかどうか疑問に思っています。

場合、これは絶対値（水平シフト伴う）と同等です。 $y=0$ $x$

多二次

逆二次関数

反転することを除き、二次関数と同じ：

ρ (z_{j k}^{i}) = \frac{1}{\sqrt{(z_{j k}^{i} - x)^{2} + y^{2}}}

$\rho(z^i_{jk}) = \frac{1}{\sqrt{(z^i_{jk}-x)^2 + y^2}}$

逆二次関数

* SVGを使用したintmathのグラフからのグラフィック。

— フィリイダ
ソース

12

CVへようこそ。+6これは非常に有益です。将来、もっと似たようなものになることを願っています。

— グング

1

の形式の滑らかな整流線形関数とプロビットもあります。

\log (1 + \exp (x))

$\log(1+\exp(x))$

— Memming

OK これは正しいです？

— フィリイダ

3

これは、参考文献の素晴らしいリストがある興味深い論文になるでしょう。たとえば、arxiv.org/abs/1505.03654。論文を書いて他の参考文献が必要な場合は、お気軽にご連絡ください。

— フナフ

9

誰かがこれをElu、Leaky ReLU、PReLU、RReLUで更新する必要があります。

— ヴィリアミ

24

そのようなリストの1つですが、それほど網羅的ではありません：http : //cs231n.github.io/neural-networks-1/

一般的に使用されるアクティベーション関数

すべてのアクティベーション関数（または非線形性）は単一の数値を受け取り、それに対して特定の固定された数学演算を実行します。実際には、いくつかのアクティベーション機能があります。

左：シグモイドの非線形性は実数を[0,1]の範囲に縮小します右： tanhの非線形性は実数を[-1,1]の範囲に縮小します。
シグモイド。シグモイドの非線形性は、数学形式持ち、上の画像の左側に示されています。前のセクションで言及したように、実数値を取り、それを0〜1の範囲に「スカッシュ」します。特に、大きな負の数は0になり、大きな正の数は1になります。それは、ニューロンの発火率として素晴らしい解釈があるためです：まったく発火しない（0）から、想定される最大頻度で完全に飽和した発火（1）まで。実際には、シグモイドの非線形性は最近好意的に落ちており、めったに使用されません。これには2つの大きな欠点があります。 $\sigma(x) = 1 / (1 + e^{-x})$

シグモイドは飽和し、勾配を殺します。シグモイドニューロンの非常に望ましくない特性は、ニューロンの活性化が0または1のテールで飽和すると、これらの領域の勾配がほとんどゼロになることです。バックプロパゲーション中、この（ローカル）勾配は、対物レンズ全体のこのゲートの出力の勾配に乗算されることを思い出してください。したがって、ローカルグラジエントが非常に小さい場合、グラジエントを効果的に「殺す」ことになり、ニューロンを介して重みや再帰的にデータに信号が流れることはほとんどありません。さらに、飽和を防ぐためにシグモイドニューロンの重みを初期化するときは、特別な注意を払う必要があります。たとえば、初期の重みが大きすぎると、ほとんどのニューロンが飽和状態になり、ネットワークはほとんど学習しません。

シグモイド出力はゼロ中心ではありません。これは望ましくありません。なぜなら、ニューラルネットワークの処理の後の層のニューロン（これについては後ほど詳しく説明します）がゼロ中心でないデータを受信するためです。これは、勾配降下中のダイナミクスに影響を及ぼします。ニューロンに入力されるデータが常に正の場合（たとえば、要素ごとに）、逆伝播中に重み勾配がすべて正またはすべて負（式全体の勾配依存） $x > 0$ $f = w^Tx + b$ $w$ $f$ ）。これにより、重みの勾配更新に望ましくないジグザグダイナミクスが導入される可能性があります。ただし、データのバッチ全体でこれらの勾配が加算されると、重みの最終更新に可変符号が付き、この問題が多少緩和されることに注意してください。したがって、これは不便ですが、上記の飽和したアクティベーションの問題と比較して、それほど深刻な結果はありません。

タン。タンの非線形性は、上の画像の右側に示されています。実数値を範囲[-1、1]に押しつぶします。シグモイドニューロンと同様に、その活性化は飽和しますが、シグモイドニューロンとは異なり、その出力はゼロ中心になります。したがって、実際には、シグモイドの非線形性よりもタンの非線形性が常に優先されます。また、tanhニューロンは単にスケーリングされたシグモイドニューロンであり、特に次のことが成り立つことに注意してください：。 $\tanh(x) = 2 \sigma(2x) -1$

左：整流線形ユニット（ReLU）アクティベーション関数。x<0の場合はゼロで、x> 0の場合は勾配1で線形です。右： Krizhevsky et al。のプロット（pdf）tanhユニットと比較して、ReLUユニットとの収束が6倍向上したことを示す論文。
ReLU。整流線形ユニットは、ここ数年で非常に人気があります。関数計算します。言い換えると、アクティベーションは単にゼロでしきい値設定されます（左の上の画像を参照）。ReLUの使用には、いくつかの長所と短所があります。 $f(x) = \max(0, x)$

（+）シグモイド/タン関数と比較して確率的勾配降下の収束を大幅に加速することが判明しました（例：Krizhevsky et al。の 6倍）。これは、線形で飽和していない形式によるものであると主張されています。

（+）高価な操作（指数関数など）を伴うタン/シグモイドニューロンと比較して、ReLUは、活性化行列をゼロで単純にしきい値処理することで実装できます。

（-）残念ながら、ReLUユニットはトレーニング中に壊れやすく、「死ぬ」可能性があります。たとえば、ReLUニューロンを流れる大きな勾配により、ニューロンがデータポイントで再びアクティブにならないように重みが更新される可能性があります。これが発生した場合、ユニットを流れる勾配は、その時点から永遠にゼロになります。つまり、ReLUユニットはデータマニホールドからノックオフされる可能性があるため、トレーニング中に不可逆的に停止する可能性があります。たとえば、学習率を高く設定しすぎると、ネットワークの40％が「デッド」になる可能性があります（つまり、トレーニングデータセット全体でアクティブにならないニューロン）。学習率を適切に設定することで、これはそれほど頻繁には問題になりません。

リーキーReLU。Leaky ReLUは、「死にゆくReLU」の問題を修正する試みの1つです。x <0のときに関数がゼロである代わりに、漏れやすいReLUは小さな負の勾配（0.01程度）を持ちます。つまり、関数計算、である小さい定数です。一部の人々は、この形式のアクティベーション機能で成功を報告していますが、結果は常に一貫しているとは限りません。Kaiming He et al。、2015 によるDelving Deep into Rectifiersで紹介されたPReLUニューロンに見られるように、負の領域の勾配は各ニューロンのパラメーターにすることもできます。しかし、タスク間の利点の一貫性は現在不明。 $f(x) = \mathbb{1}(x < 0) (\alpha x) + \mathbb{1}(x>=0) (x)$ $\alpha$

Maxout。関数型を持たない他のタイプのユニットが提案されています。この場合、重みとデータ間のドット積に非線形性が適用されます。比較的一般的な選択肢の1つは、ReLUとその漏れやすいバージョンを一般化するMaxoutニューロン（最近Goodfellow et al。によって導入された）です。Maxoutニューロンは、関数計算します。ReLUとLeaky ReLUの両方がこの形式の特別なケースであることに注意してください（たとえば、ReLUの場合、 $f(w^Tx + b)$ $\max(w_1^Tx+b_1, w_2^Tx + b_2)$ $w_1, b_1 = 0$ ）。したがって、MaxoutニューロンはReLUユニットのすべての利点を享受し（動作の線形領域、飽和なし）、その欠点はありません（ReLUが消滅する）。ただし、ReLUニューロンとは異なり、1つのニューロンごとにパラメーターの数が2倍になり、パラメーターの総数が多くなります。

これで、最も一般的なタイプのニューロンとその活性化機能についての説明を終了します。最後のコメントとして、同じネットワーク内で異なるタイプのニューロンを組み合わせて一致させることは非常にまれですが、そうすることで根本的な問題はありません。

TLDR：「どのニューロンタイプを使用する必要がありますか？」これが懸念される場合は、Leaky ReLUまたはMaxoutを試してください。シグモイドを使用しないでください。tanhを試してみてください。ただし、ReLU / Maxoutよりも動作が悪くなることが予想されます。

ライセンス：

MITライセンス（MIT）

著作権（c）2015 Andrej Karpathy

これにより、このソフトウェアおよび関連するドキュメントファイル（「ソフトウェア」）のコピーを取得するすべての人に、使用、コピー、修正、マージの権利を含むがこれらに限定されないソフトウェアを扱う許可が無料で付与されますソフトウェアのコピーを発行、配布、サブライセンス、および/または販売し、以下の条件に従って、ソフトウェアの提供先にソフトウェアの提供を許可します。

上記の著作権表示およびこの許可通知は、ソフトウェアのすべてのコピーまたは大部分に含まれるものとします。

本ソフトウェアは、商品性、特定の目的への適合性、および非侵害の保証を含むが、これに限らず、明示または黙示を問わず、いかなる保証もなしに「現状のまま」提供されます。いかなる場合でも、作者または著作権者は、契約、不法行為、またはその他の行為、ソフトウェアまたは使用またはその他の取引に起因する、または関連するいかなる請求、損害またはその他の責任についても責任を負わないものとしますソフトウェア。*

その他のリンク：

tanh活性化機能とシグモイド活性化機能

— フランク・ダーノンクール
ソース

10

賛否両論のリストは存在しないと思います。アクティベーション関数は、アプリケーションに大きく依存し、ニューラルネットワークのアーキテクチャにも依存します（ここでは、S字型に似た2つのsoftmax関数のアプリケーションを見ることができます）。

関数の一般的な振る舞いに関するいくつかの研究を見つけることができますが、定義された決定的なリスト（あなたが尋ねるもの...）は決してないと思います。

私はまだ学生ですので、これまでに知っていることを指摘します。

ここでは、逆伝播を伴うタンおよびシグモイドの挙動についてのいくつかの考えを見つけます。Tanhはより一般的ですが、シグモイド...（常に「but」があります）
ディープスパース整流ニューラルネットワーク Glorotザビエルらの、彼らは、整流ユニットは、より生物学的に妥当であり、それらは他のものよりも良好に機能することを述べる（シグモイド/ TANH）

— マルコデナ
ソース

これが「正しい」答えです。リストを作成できますが、賛否両論は完全にデータに依存しています。実際、活性化関数の学習は理論的にははるかに合理的です。研究にあまり焦点を当てていない理由は、シグモイドが「うまくいく」からです。最終的に、唯一の

— 利点

4

ダニエルの偉大な答えを完全にするために、他のパラダイムがあります。そこでは、液体状態機械、極端な学習機械、エコー状態ネットワークなど、重みおよび/または活性化の種類にランダムに「車輪を回転」させます。

これらのアーキテクチャについて考える1つの方法：貯水池は、SVMのような一種のカーネル、またはデータが何らかのハイパースペースに投影される単純なFFNNの1つの大きな隠れ層です。実際の学習はありません。満足のいく解決策に達するまで、貯水池は再生成されます。

この素敵な答えもご覧ください。

— 手裏剣×青
ソース

2

最近のアクティベーション機能を確認する記事は、

「アクティベーション関数：ディープラーニングの実践と研究の傾向の比較」、Chigozie Enyinna Nwankpa、Winifred Ijomah、Anthony Gachagan、Stephen Marshall

ディープニューラルネットワークは、これまで開発されてきた、よりディープラーニング（DL）アーキテクチャの現実世界の複雑な問題を解決するために、さまざまな新興分野で使用されています。これらの最先端のパフォーマンスを実現するために、DLアーキテクチャはアクティベーション機能（AF）を使用して、特定のDLアーキテクチャの隠れ層と出力層の間でさまざまな計算を実行します。このホワイトペーパーでは、ディープラーニングアプリケーションで使用されている既存のAFに関する調査を紹介し、ディープラーニングアプリケーションでのアクティベーション機能の使用における最近の傾向を明らかにします。このペーパーの目新しさは、DLで使用されるAFの大部分をコンパイルし、最新の研究結果に対する実用的なディープラーニング展開におけるこれらの機能のアプリケーションと使用の現在の傾向を概説することです。このコンパイルは、配備の準備ができている特定のアプリケーションに最適で適切なアクティベーション機能の選択において効果的な決定を下すのに役立ちます。AFに関するほとんどの研究論文が同様の研究と結果を強調しているので、この論文はタイムリーです。

— シコラックス
ソース

賛否両論のあるニューラルネットワークの活性化関数の包括的なリスト

表記法

アクティベーション関数

身元

ステップ

区分線形

シグモイド

補完ログログ

バイポーラ

バイポーラシグモイド

タン

ルクンのタン

ハードタン

絶対の

整流器

ReLUの変更

スムーズ整流器

ロジット

プロビット

余弦

ソフトマックス

マックスアウト

放射基底関数ネットワーク

放射基底関数ネットワーク活性化関数

ガウス

多二次

逆二次関数

一般的に使用されるアクティベーション関数