アクティベーション機能としてsoftplusよりもReLUを使用する利点は何ですか？

整流線形ユニット（ReLU）は、softplusユニットが線形であり、計算が高速であるため、softplusユニットに取って代わりました。

softplusには、スパース性を誘発するという利点がまだありますか、それともReLUに制限されていますか？

私が尋ねる理由は、ReLUのゼロ勾配の負の結果について疑問に思うからです。このプロパティは、再アクティブ化の可能性を与えることが有益な場合に、ゼロでユニットを「トラップ」しませんか？

ディープラーニングの本のセクション6.3.3で、あなたの質問に対する答えを見つけました。（Goodfellow et。al、2016）：

通常、softplusの使用は推奨されていません。...どこでも微分可能または完全に飽和しないため、整流器よりも有利であると期待されるかもしれませんが、経験的にはそうではありません。

この主張を裏付ける参考として、彼らは論文Deep Sparse Rectifier Neural Networks（Glorot et。al、2011）を引用しています。

ReLUは、特に高い学習率の下では、実際に永久にオフにすることができます。これは、漏れやすいReLUとELUアクティベーションの背後にある動機であり、どちらもほぼすべての場所にゼロ以外の勾配があります。

Leaky ReLUは、ReLUと同様に区分的線形関数であるため、計算が迅速です。ELUには、softmaxやReLUよりも平均出力がゼロに近いという利点があり、学習が向上します。