飽和非線形性という用語はどういう意味ですか？

ディープコンボリューショナルニューラルネットワークを使用したImageNet分類の論文を読んでいたのですが、セクション3では、コンボリューショナルニューラルネットワークのアーキテクチャについて説明し、次の使用方法を説明しました。

非飽和非線形性 $f(x) = max(0, x).$

訓練するのが速かったからです。その論文では、CNNで使用されるより伝統的な関数、シグモイド関数および双曲線正接関数（すなわち、および（飽和）。 $f(x) = tanh(x)$ $f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$

なぜこれらの関数を「飽和」または「非飽和」と呼ぶのですか？これらの機能はどのような意味で「飽和」または「非飽和」ですか？畳み込みニューラルネットワークのコンテキストでは、これらの用語はどういう意味ですか？機械学習（および統計）の他の分野で使用されていますか？

— チャーリー・パーカー
ソース

また、この定足数回答は非常に有用であることがわかりました。

— フランク

回答:

直感

飽和活性化関数は、入力を絞ります。

定義

$f$ は非飽和iff $(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
$f$ が飽和していない場合、は飽和しています。 $f$

これらの定義は、畳み込みニューラルネットワークに固有のものではありません。

例

ため、として定義される整流線形単位（ReLU）アクティベーション関数は非飽和です。 $f(x)=max(0,x)$ $\lim_{z\to+\infty} f(z) = +\infty$

として定義されるシグモイド活性化関数は、実数を範囲にスカッシュするため飽和します。 $f(x) = \frac{1}{1 + e^{-x}}$ $[0,1]$

tanh（双曲線正接）アクティベーション関数は、実数を範囲に押しつぶすため飽和し。 $[-1,1]$

（図は、CS231n、MITライセンスからのものです）

— フランク・ダーノンクール
ソース

ああ、いいですね。これは私の最初の質問ではなかったことは知っていますが、MLとCNNのコンテキストでそのプロパティは重要ですか？

— チャーリーパーカー

ANNの場合、ANNの出力レイヤーに大きな影響を与える大きな出力を持つ1つのユニットを使用しないようにします。

— フランクデルノンクール

日焼けとシグモイドの違いは何ですか？両方とも、閉じた範囲で数字をつぶします！わかりません、これについてもう少し詳しく説明してもらえますか？私は数学が苦手です。（ちなみに私はCNNの視点から来ています）

— リカ

@FranckDernoncourtタン活性化機能が飽和するということですか？タイプミスがあると思いますか？:)

— CoderSpinoza

@tenCupMaximum：飽和するということは、これ以上追加できないポイントまでいっぱいになることを意味します。飽和関数のコンテキストでは、特定のポイントの後、関数の入力がさらに増加しても、出力が（意味のある）増加を引き起こさなくなり、その出力は（ほぼ）最大値に達します。その時点での関数は、いわば「すべて満たされている」、つまりいわば飽和（または飽和）です。

— ルーベンファンベルゲン

最も一般的なアクティベーション関数は、LOGおよびTanHです。これらの関数にはコンパクトな範囲があります。つまり、ニューラル応答を実数の有界サブセットに圧縮します。LOGは、入力を0〜1の出力、TAN Hを-1〜1に圧縮します。これらの関数は、境界での制限動作を示します。

境界では、入力∂yj/∂xjに対する出力の勾配は非常に小さくなっています。したがって、勾配は小さいため、収束までのステップが小さいため、収束までの時間が長くなります。

— プラディKL
ソース