ニューラルネットワークで重みを初期化する際の切り捨てられた正規分布の利点は何ですか？

フィードフォワードニューラルネットワークで接続の重みを初期化する場合、学習アルゴリズムが破れない対称性を避けるために、それらをランダムに初期化することが重要です。

さまざまな場所（TensorFlowのMNISTチュートリアルなど）で見た推奨事項は、標準偏差1を使用して切り捨てられた正規分布を使用することです。、ここでNは特定のニューロン層への入力の数です。$\dfrac{1}{\sqrt{N}}$$N$

標準偏差の式により、バックプロパゲーションされた勾配が急速に溶解または増幅されないことが保証されます。しかし、通常の正規分布ではなく、切り捨てられた正規分布を使用している理由がわかりません。まれな異常値の重みを避けるためですか？

私はニューロンの飽和について考えています。シグモイドのようなアクティベーション機能があると考えてください。

重みvalの値が2以上または2以下の場合、ニューロンは学習しません。したがって、正規分布を切り捨てた場合、分散に基づいて（少なくとも初期化から）この問題は発生しません。だからこそ、一般的に切り捨てられた法線を使うほうが良いと思います。

切り捨てられた正規分布を使用する利点は、使用されているrelu_logitsによる「デッドニューロン」の生成を防ぐことです。

一般に、対称性の破れのために、ノイズを少し加えて重みを初期化し、0勾配を防ぐ必要があります。ReLUニューロンを使用しているため、「デッドニューロン」を回避するために、わずかに正の初期バイアスで初期化することをお勧めします。