有限混合ガウス混合とガウス混合の間の距離はどのくらいですか？

既知の重み、平均、標準偏差を持つ有限数のガウス分布が混在しているとします。平均は等しくありません。もちろん、モーメントは成分のモーメントの加重平均であるため、混合物の平均および標準偏差を計算できます。混合は正規分布ではありませんが、正規分布からどれくらい離れていますか？

$2$

$1$

動機：怠zyな人たちは、測定していない実際の分布については意見が異なります。私も怠け者です。分布も測定したくありません。彼らの仮定は矛盾していると言いたいのです。なぜなら、彼らは異なる手段をもつガウス分布の有限混合は正しくないガウス分布だと言っているからです。テールの漸近的な形状が間違っているとは言いたくありません。これらは、平均のいくつかの標準偏差内で合理的に正確であると想定される単なる近似であるためです。成分が正規分布によって近似されている場合、混合はそうではないと言いたいので、これを定量化できるようにしたいと思います。

$L^1$$2$$1/4$

KLの発散は、混合物が発散する自然の基本分布である単一のガウス分布を持っているため、自然になります。一方、問題が特殊なケースである2つのガウス混合間のKL発散（またはその対称的な「距離」形式）は、一般的には扱いにくいようです。 Hershey and Olson（2007）は、利用可能な近似の合理的な要約のように見えます。

ただし、実際に混合物であるときに何かがガウス分布であると仮定することの悪影響について議論したい場合は、実際に関心のある結果についてよく考えておくのが最善です-単に「間違っている」よりも具体的なもの'（これは@ Michael-Chernickのポイントです）。たとえば、テストの結果、間隔、またはそのようなもの。混合物の2つの明白な効果は、ほとんど保証される過分散と、最大化を混乱させるマルチモダリティです。

誤った配布仕様の結果を検討するためにフォローアップさせてください。KL発散などの距離の一般的な測定値を使用するのではなく、「差異」のカスタマイズされた測定値を、手近な結果に密接に関連して評価できます。

例として、たとえば、失敗の確率が十分に低いと判断するために、分布がリスク計算に使用される場合、適合で重要なのは、極端なテールでの確率計算だけです。これは、数十億ドル規模のプログラムに関する決定に関連する場合があり、生と死の問題を伴います。

通常の仮定が最も不正確になる可能性が高いのはどこですか？多くの場合、極端なテールでは、これらの重要なリスク計算に重要な唯一の場所です。たとえば、真の分布が同じ平均値であるが標準偏差が異なる正規分布の混合である場合、混合分布の裾は同じ平均および標準偏差をもつ正規分布の裾よりも太くなります。これにより、極端なテールの確率の大きさの差（リスクの過小評価）が簡単に発生します。

したがって、たとえば、重要なレベルで $U$、関連する差異の尺度は $P(X_{Mixture} > U) - P(X_{Normal} > U)$。このような場合、ディストリビューションの残りの部分で契約がどれだけ良いかは関係ありません。