9
ニューラルネットワークの重みを乱数に初期化する必要があるのはなぜですか?
私はニューラルネットワークをゼロから構築しようとしています。すべてのAI文献全体で、ネットワークの収束を速くするために、重みを乱数に初期化する必要があるというコンセンサスがあります。 しかし、なぜニューラルネットワークの初期の重みが乱数として初期化されるのでしょうか。 これは「対称性を壊す」ために行われ、これによりニューラルネットワークの学習が速くなることをどこかで読んだことがあります。対称性を壊すことで、学習がどのように速くなりますか? 重みを0に初期化した方がいいでしょうか?そのようにして、重みはそれらの値(正または負にかかわらず)をより速く見つけることができますか? 初期化時に重みが最適値に近いことを期待することとは別に、重みをランダム化する背後にある他の基本的な哲学はありますか?