なぜGANのガウス潜在変数（ノイズ）ですか？

GANについて読んでいたときに理解できないのは、なぜガウスからのサンプルとしてGAN（z）への入力を選択することが多いのですか？-そして、これに関連する潜在的な問題もありますか？

なぜ人々はしばしばガウシアンからのサンプルであるGAN（z）への入力を選ぶのですか？

一般的には、2つの理由によります。（1）数学的単純さ、（2）実際には十分に機能します。ただし、説明するように、追加の仮定の下では、ガウスの選択をより正当化できます。

均一分布と比較してください。ガウス分布は均一分布ほど単純ではありませんが、それほど遠くないわけでもありません。それは均一性に「平均の周りの集中」仮定を追加します。これは実際の問題におけるパラメーター正則化の利点を私たちに与えます。

最も知られていない。Gaussianの使用は、最も知られていない連続量、たとえばノイズや潜在因子最も適しています。「最も知られていない」は、「特定の分散のエントロピーを最大化する分布」として形式化できます。この最適化の答えは、任意の平均に対するです。したがって、この意味で、ある量が私たちに最も知られていないと仮定する場合、最良の選択はガウスです。もちろん、その量についてより多くの知識を身につければ、次の例で示されるように、「最も知られていない」仮定よりもうまくいくことができます。$\epsilon$$z$$N(\mu, \sigma^2)$$\mu$

中心極限定理。別の一般的に使用される正当化は、多くの観測が多数の[ほぼ]独立したプロセスの結果（平均）であるため、CLTがガウスの選択を正当化することです。正規性に従わない現実の現象（べき乗則分布など）も多くあり、変数が最も知られていないため、これらの現実世界の類似のどれを決定できないので、これは適切な正当化ではありません。より好ましい。

これは、「なぜ、確率回帰またはカルマンフィルターでガウスノイズを想定するのか」に対する答えになります。あまりにも。

これに関連する潜在的な問題もありますか？

はい。ガウスと仮定すると、単純化されます。単純化が正当化されないと、モデルのパフォーマンスが低下します。この時点で、別の仮定を探す必要があります。実際には、（既知の知識または推測に基づいて）最小の既知の量について新しい仮定を行う場合、ガウスの仮定を変更する代わりに、その仮定を抽出して新しいガウスの仮定を導入することができます。次に2つの例を示します。

1. 回帰の例（ノイズ）。観測値（最も知られていない）についての知識がないとすると、と仮定します。モデルをフィッティングした後、推定された分散が高いことに気付く場合があります。調査の結果、は測定値線形関数であると想定できるため、この想定をとして抽出しここで、は新しい「最も知られていない」です。後で、モデルをフィッティングした後、観測されたため、線形性の仮定も弱いことがわかります$A$$A \sim N(\mu, \sigma^2)$$\hat{\sigma}^2$$A$$B$$A = \color{blue}{b_1B +c} + \epsilon_1$$\epsilon_1 \sim N(0, \sigma_1^2)$$\hat{\epsilon}_1 = A - \hat{b}_1B -\hat{c}$また、も高くなってい ます。次に、新しい仮定をとして抽出できます。ここで、は新しい「最も知られていない」 "、 等々。$\hat{\sigma}_1^2$$A = b_1B + \color{blue}{b_2B^2} + c + \epsilon_2$$\epsilon_2 \sim N(0, \sigma_2^2)$

2. GAN（潜在因子）の例。GAN（知識）からの非現実的な出力を見て、新しいネットワーク（または関数）が新しい持つことを期待して、と出力（抽出の仮定）の間にを追加しは、より現実的な出力につながります。$\color{blue}{\text{more layers}}$$z$$z_2 \sim N(0, \sigma_2^2)$