sqrt（6）を使用してニューラルネットワークのランダムな初期化のイプシロンを計算するのはなぜですか？

で週5講義ノートのためのアンドリュー・ウのコーセラ機械学習クラス、以下の式が値算出に与えられた初期化するために使用さランダムな値で： $\epsilon$ $\Theta$

では、運動、さらに明確化が与えられます。

を選択するための1つの効果的な戦略は、ネットワーク内のユニット数に基づいて決定することです。適切な選択は $\epsilon_{init}$ $\epsilon_{init}$ 、ここでおよびは、隣接する層のユニット数です。 $\epsilon_{init} = \frac{\sqrt{6}}{\sqrt{L_{in} - L_{out}}}$ $L_{in} = s_l$ $L_{out} = s_{l+1}$ $\Theta^{(l)}$

なぜ定数ですかここで使用？なんで $\sqrt 6$ 、 $\sqrt 5$ または $\sqrt 7$ ？ $\sqrt {6.1}$

machine-learning neural-networks random-generation

— トム・ヘイル
ソース

これは、Xavier GlorotとYoshua Bengioによるディープフィードフォワードニューラルネットワークのトレーニングの難しさを理解することによる、 Xavierの正規化された初期化（Keras、Cafeなどのいくつかのディープラーニングフレームワークで実装）であると思います。

リンクされた論文の式12、15、16を参照してください。これらは式12を満たすことを目的としています

Var [W_{私}] = \frac{2}{ん_{私} + ん_{私 + 1}}

$\text{Var}[W_i] = \frac{2}{n_i + n_{i+1}}$

とが均一RVの分散ある（平均値がゼロである、PDF = 分散そう $[-\epsilon,\epsilon]$ $\epsilon^2/3$ $1/(2\epsilon)$ $=\int_{-\epsilon}^{\epsilon}x^2 \frac{1}{2\epsilon}dx$

— seanv507
ソース

うーん、それで

使う理由

\sqrt{6}

$\sqrt 6$

2

$2$

+/- xの一様確率変数の分散の式にイプシロンを挿入すると、何が得られますか？

— seanv507 2017

[- ϵ, ϵ]

$[-\epsilon, \epsilon]$

x^{2} / 3

$x^2 / 3$

ユニフォームRVの分散の説明を追加...

— seanv507