ニューラルネットワークの重みが乱数で初期化されるのはなぜですか？

ニューラルネットワークの初期の重みが乱数として初期化されるのはなぜですか？これは「対称性を壊す」ために行われ、これによりニューラルネットワークの学習が速くなることをどこかで読んだことがあります。対称性を壊すことで、学習がどのように速くなりますか？

重みを0に初期化した方がいいでしょうか？そうすれば、重みはそれらの値（正または負）をより速く見つけることができますか？

初期化時に重みが最適値に近いことを期待することとは別に、重みをランダム化する背後にある他の基本的な哲学はありますか？

ウェイトレイヤーを小さな（そして異なる）値に初期化する背後にある基本的な直感は、システムのバイアスが壊れ、ウェイト値が異なる値に沿って離れたり離れたりできるようにするためです。

より具体的には、おそらく初期の重みを明確にし、それらの間に「小さなギャップ」を設ける必要があります。この「ギャップ」は、進むにつれて拡張し、重みが毎回少し大きくなるように強制します。これにより、ネットワークの収束が速くなります。つまり、学習プロセスがスピードアップします。

代わりにすべてのウェイトを一定にすると、各ウェイトは非常に遅い（固定された）レートで更新されます。これは、特に初期値が最終値から「非常に遠い」場合、あまり役に立ちません。

お役に立てれば幸いです。楽しく学んでください。