タグ付けされた質問 「truncated-normal」

フィードフォワードニューラルネットワークで接続の重みを初期化する場合、学習アルゴリズムが破れない対称性を避けるために、それらをランダムに初期化することが重要です。 さまざまな場所（TensorFlowのMNISTチュートリアルなど）で見た推奨事項は、標準偏差1を使用して切り捨てられた正規分布を使用することです。、ここでNは特定のニューロン層への入力の数です。1N−−√1N\dfrac{1}{\sqrt{N}}NNN 標準偏差の式により、バックプロパゲーションされた勾配が急速に溶解または増幅されないことが保証されます。しかし、通常の正規分布ではなく、切り捨てられた正規分布を使用している理由がわかりません。まれな異常値の重みを避けるためですか？

13 neural-networks  backpropagation  weights  truncated-normal 

打ち切られた正規分布を見つけたいが、区間で定義されているのではなく、 （a 、b ）(a,b)(a,b)ここで、、その定義は間隔にある、。- ∞ &lt; A &lt; B &lt; ∞−∞&lt;a&lt;b&lt;∞-\infty<a<b<\infty（a 、b ）∪ （c 、d）(a,b)∪(c,d)(a,b)\cup(c,d)- ∞ &lt; A &lt; B &lt; C &lt; D&lt; ∞−∞&lt;a&lt;b&lt;c&lt;d&lt;∞-\infty<a<b<c<d<\infty まず第一に、これは切り捨てられた正規分布の定義を依然として満たしますか？これに関するWikipediaの記事でを使用してそれを定義しています。ここで、および（Xは通常、平均および分散） 。打ち切られた正規分布ではない場合、それは何ですか？（a 、b ）(a,b)(a,b)- ∞ &lt; A &lt; B &lt; ∞−∞&lt;a&lt;b&lt;∞-\infty<a<b<\inftya &lt; X&lt; ba&lt;X&lt;ba<X<bμμ\muσ2σ2\sigma^{2} それが打ち切られた正規分布である場合、どのように計算しますか？全確率の法則を使用してそれに近づくことができると考えていましたが、切り捨てられた分布を、ユニオンの各間隔の切り捨てられた正規分布の0.5倍として取得しましたが、これは実際には意味がありません。これは、Xが最大の確率で取ることができる値が1つあるのではなく、等しい確率で分布に2つのピークがあることを意味します（私が間違っている場合を除きます）。

8 probability  distributions  truncated-normal 

ミル比の結果を使用して、とすると、X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu, \sigma^2) E(X|X&lt;α)=μ−σϕ(a−μσ)Φ(a−μσ)E(X|X&lt;α)=μ−σϕ(a−μσ)Φ(a−μσ)E(X| X<\alpha) = \mu - \sigma\frac{\phi(\frac{a- \mu}{\sigma})}{\Phi(\frac{a-\mu}{\sigma})} ただし、Rで計算すると、正しい結果が得られません。 &gt; mu &lt;- 1 &gt; sigma &lt;- 2 &gt; a &lt;- 3 &gt; x &lt;- rnorm(1000000, mu, sigma) &gt; x &lt;- x[x &lt; a] &gt; mean(x) [1] 0.4254786 &gt; &gt; mu - sigma * dnorm(a, mu, sigma) / …

7 r  normal-distribution  conditional-expectation  truncated-normal  truncated-distributions