事実上の標準シグモイド関数が（非深層）ニューラルネットワークとロジスティック回帰で非常に人気があるのはなぜですか？$\frac{1}{1+e^{-x}}$

他の多くの派生関数を使用して、計算時間を短縮するか、減衰を遅くします（勾配の消失が少なくなります）。シグモイド関数に関するいくつかの例がウィキペディアにあります。減衰が遅く計算が速い私のお気に入りの1つはです。$\frac{x}{1+|x|}$

編集

この質問は、シグモイドの「なぜ」にのみ興味があるので、賛否両論のニューラルネットワークの活性化関数の包括的なリストとは異なります。

この答えから別の質問への引用：

パターン認識と機械学習（Springer 2006）のセクション4.2 では、Bishopはロジットが2クラス分類のベイジアン処理における事後確率分布の形として自然に発生することを示しています。その後、彼は、離散的に分布した特徴、および指数分布のファミリーのサブセットにも同じことが当てはまることを示しています。マルチクラス分類の場合、ロジットは正規化された指数関数またはソフトマックス関数に一般化します。

これは、このシグモイドがロジスティック回帰で使用される理由を説明しています。

ニューラルネットワークに関して、このブログ投稿では、ロジット/ソフトマックスやニューラルネットワークで使用されるプロビットを含むさまざまな非線形性に、統計的解釈とそれによる動機付けを与える方法について説明しています。基本的な考え方は、多層ニューラルネットワークを一般化線形モデルの階層と見なすことができるということです。これによると、アクティベーション関数はリンク関数であり、リンク関数は異なる分布の仮定に対応しています。

この関数が他の関数よりも「自然」に見える理由の1つは、たまたまベルヌーイ分布の正準パラメーターの逆関数であることです： （指数内のpの関数は、標準パラメーターと呼ばれます。）

$$\begin{align} f(y) &= p^y (1 - p)^{1 - y} \\ &= (1 - p) \exp \left \{ y \log \left ( \frac{p}{1 - p} \right ) \right \} . \end{align}$$ $p$

シグモイド関数を最大エントロピーモデルとして導き出すことができる情報理論から、より説得力のある正当化がもたらされる可能性があります。大まかに言えば、シグモイド関数は最小の構造を想定しており、基礎となるモデルに関する一般的な無知の状態を反映しています。

私は何ヶ月もこの質問を自問してきました。CrossValidatedとQuoraの答えはすべて、ロジスティックシグモイド関数の優れたプロパティをリストしていますが、この関数を巧妙に推測したようです。私が逃したのは、それを選択する正当性でした。Bengio（2016）の「Deep Learning」本のセクション6.2.2.2でようやく見つかりました。自分自身の言葉で：

要するに、モデルの出力の対数は、トレーニングデータの対数尤度の勾配ベースの最適化に適している必要があります。

動機

• 私たちは、線形モデルをしたいが、我々は使用できません$z = w^T x + b$として直接$z \in (-\infty, +\infty)$。
• 分類のために、ベルヌーイ分布を仮定し、そのパラメーター$\theta$を$P(Y=1) = \theta$モデル化することは理にかなっています。
• そこで、我々は、マップする必要が$z$から$(-\infty, +\infty)$に$[0, 1]$の分類を行うこと。

ロジスティックシグモイド関数が必要な理由

切断$z$と$P(Y=1|z) = max\{0, min\{1, z\}\}$ゼロ勾配が得られる$z$の外側$[0, 1]$。勾配降下法でロジスティック回帰を解決するため、モデルの予測が間違っている場合は常に強い勾配が必要です。ロジスティック回帰の場合、閉じた形式のソリューションはありません。

ロジスティック関数には、モデルを予測するために最尤推定を使用すると、モデルの予測が間違っている場合に一定の勾配を漸近させるという優れた特性があります。これを以下に示します。

数値的な利点については、トレーニングデータの負の対数尤度を最小化することにより、最尤推定を実行できます。したがって、コスト関数は次のとおりです。

$$\begin{align} J(w, b) &= \frac{1}{m} \sum_{i=1}^m -\log P(Y = y_i | x_i; w, b) \\ &= \frac{1}{m} \sum_{i=1}^m - \big(y_i \log P(Y=1 | z) + (y_i-1)\log P(Y=0 | z)\big) \end{align}$$

以来、$P(Y=0 | z) = 1-P(Y=1|z)$、我々は上に集中することができ$Y=1$の場合。だから、質問はモデル化する方法である$P(Y=1 | z)$我々が持っていることを考えると$z = w^T x + b$。

zをP （Y = 1 | z ）にマッピングする関数$f$の明らかな要件は次のとおりです。$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$回転対称WRTでなければならない$(0, 0.5)$、すなわち$f(-x) = 1-f(x)$クラスの符号を反転することはコスト関数に影響を及ぼさないように、。
• $f$は、減少せず、連続的で微分可能でなければなりません。

これらの要件はすべて、シグモイド関数を再スケーリングすることで満たされます。両方の$f(z) = \frac{1}{1 + e^{-z}}$および$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$それらを実現します。ただし、シグモイド関数は、対数尤度の勾配ベースの最適化中の動作に関して異なります。ロジスティック関数f（z）=1を差し込むことで違いを確認できます$f(z) = \frac{1}{1 + e^{-z}}$をコスト関数に入れます。

Y = 1の彩度$Y=1$

以下のための$P(Y=1|z) = \frac{1}{1 + e^{-z}}$および$Y=1$場合、単一の誤分類サンプル（つまり$m=1$）のコストは次のとおりです。

$$\begin{align} J(z) &= -\log(P(Y=1|z)) \\ &= -\log(\frac{1}{1 + e^{-z}}) \\ &= -\log(\frac{e^z}{1+e^z}) \\ &= -z + \log(1 + e^z) \end{align}$$

私たちは、線形成分があることがわかります$-z$。次に、2つのケースを見てみましょう。

• 場合$z$大きいため、モデルの予測が正しかった$Y=1$。コスト関数で、$\log(1 + e^z)$、$z$が大きい場合は$z$漸近します。したがって、それは概ねキャンセル$-z$このサンプルのおおよそゼロコスト及び弱い勾配をもたらすうち。モデルはすでに正しいクラスを予測しているため、これは理にかなっています。
• $z$が小さい場合（ただし$|z|$が大きい場合）、Y = 1であるため、モデルの予測は正しくありませんでした。コスト関数では、対数（1 + e z）項は、zが小さい場合は0に漸近します。したがって、このサンプルの全体的なコストはおおよそである- Z WRT勾配意味、zはおおよそれる- 1。これにより、モデルは受け取った一定の勾配に基づいて間違った予測を簡単に修正できます。非常に小さいzでも$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$、飽和が発生せず、勾配が消失します。

Y = 0の彩度$Y=0$

上記では、$Y=1$ケースに焦点を合わせました。以下のために$Y=0$、コスト関数は、モデルの予測が間違っている場合にのみ、強い勾配を提供し、同様に動作します。

これは、Y = 1の場合のコスト関数$J(z)$です。$Y=1$

これは、水平に反転されたsoftplus関数です。以下のために$Y=0$、それはsoftplus関数です。

代替案

ロジスティックシグモイド関数の代替物、たとえば$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

次のようになります。

$z \rightarrow - \infty$

元の質問では減衰勾配問題について言及しているため、中間層（活性化をクラス確率または回帰出力として解釈する必要がない場合）では、他の非線形性がシグモイド関数よりも好まれることが多いことを付け加えます。最も顕著なのは整流器機能（ReLUなど）で、正の領域では線形で、負の領域ではゼロです。それらの利点の1つは、微分が正の領域で一定であるため、減衰勾配問題の影響を受けにくいことです。ReLUは、シグモイドを事実上の標準とはもう呼べないほどの人気を博しています。

Glorot et al。（2011）。ディープスパース整流器ニューラルネットワーク