バッチ正規化を廃止できるアクティベーション機能はありますか？

バッチの正規化を学びながら、適切なアクティベーション関数を使用して「勾配スケールの問題」を解決できないのかと考えていました。

データセット全体をスケーリングするのではなく、アクティベーション関数を遅延させてスケーリングし、それによって分散が確実に保持されるようにできないのでしょうか。

あなたが説明することは、NIPS 2017で発表された自己正規化ニューラルネットワークのコアであるスケーリング指数線形単位（SELU）によく似ています。

ここからの短い要約は次のとおりです。

入力の平均と分散が特定の範囲内にある場合、出力の平均と分散は、（1）その範囲でもあり、（2）アクティベーション関数を繰り返し適用した後、固定点に収束する必要があります。

redditの投稿コメントを確認することをお勧めします。それらを完全に理解したい場合は、arxivプレプリントの 90ページにわたる付録を先に進めることができます。

彼らが発表されたとき彼らは多くの注目を集めましたが、最近インターネットで誰も彼らについて話しているようには見えないので、彼らは期待に応えることはできなかったと思います。