分布の指数関数的ファミリーの背後にある理論的根拠は何ですか？

初等確率コースから、ガウス、ポアソンまたは指数などの確率分布はすべて、良い動機を持っています。指数関数分布の公式を長い間見続けた後、私はまだ直感を得られません。

そもそもなぜそれが必要なのか、誰かが私に理解を助けてくれますか？応答変数を指数関数的ファミリーであると通常のモデルで比較する利点は何ですか？

編集：指数関数ファミリーとは、ここで説明する分布の一般的なクラスを意味しました。

応答変数を指数関数的ファミリーであると通常のモデルで比較する利点は何ですか？

1. 指数関数ファミリーは通常よりもはるかに広いです。たとえば、法線の代わりにポアソンまたは二項式を使用する利点は何ですか？平均値が低いカウントがある場合、法線はあまり役に立ちません。データが連続的であるが、非常に適切なスキューである場合はどうでしょうか（おそらく時間または金額）。指数関数ファミリーには、（他の多くの中で）特殊なケースとして、法線、二項、ポアソン、ガンマが含まれます

2. これには、さまざまな分散平均関係が組み込まれています。

3. それは、「どのような分布が十分な統計量の関数であるか」という線に沿って質問に答えようとすることから派生しているため、非常に単純な十分な統計量を使用してMLを介してモデルを推定できます。これには、一般化線形モデルに適合するプログラムで利用可能な通常のモデルが含まれます。実際、十分な統計量（）は、指数関数系密度関数で明示的です。$T(x)$

4. （リンク関数を介して）応答の条件付き分布から応答と予測子の関係を簡単に切り離すことができます。たとえば、条件付き応答にガンマ分布があることを指定するモデルに直線関係を適合させたり、GLMフレームワークの条件付きガウス応答との指数関係を適合させたりできます。

ベイジアンにとって、指数関数ファミリーのすべてのメンバーは共役事前分布を持っているため、指数関数ファミリーは非常に興味深いものです。

私にとって、指数関数ファミリー分布の背後にある主な動機は、十分な統計とサポートが与えられた場合、それらが最大エントロピー分布ファミリーであることです。言い換えれば、それらは最小推定分布です。

たとえば、実数値の平均と分散のみを測定する場合、最小仮定モデリングの選択は正規分布です。

計算の観点からは、他にも利点があります。

• それらは「証拠の組み合わせ」の下で閉じられます。つまり、同じ指数ファミリーからの2つの独立した尤度の組み合わせは常に同じ指数ファミリーにあり、その自然パラメーターはそのコンポーネントの自然パラメーターの合計にすぎません。これはベイジアン統計に便利です。

• 2つの指数ファミリー分布間の交差エントロピーの勾配は、それらの期待パラメーターの差です。つまり、このようなクロスエントロピーである損失関数は、いわゆるマッチング損失関数であり、最適化に便利です。

グレンのリストはいいです。彼の答えを補足するために、もう1つのアプリケーションを追加します。ベイジアン推論のための共役事前分布の導出です。

ベイズ推定の核となる部分は、事後分布導出することです。尤度共役である事前ことは、事後と事前が同じクラスの確率分布に属することを意味します。$p(\theta|y) \propto p(y|\theta) p(\theta)$$p(\theta)$$p(y|\theta)$$p(y|\theta)$$p(\theta)$

私が言及している有用な特性は、次の形式の1パラメーターの指数関数ファミリーから観測値が引き出される可能性があることです。$n$

$p(y_1,\ldots,y_n|\theta) = \prod p(y_i|\theta) \propto g(\theta)^n \exp \big[ h(\theta) \sum t(y_i) \big]$、

前に単に共役を書き出すことができます

$p(\theta) \propto g(\theta)^\nu \big[ h(\theta) \delta \big]$

そして、後部は

$p(\theta|y_1,\ldots,y_n) \propto g(\theta)^{n+\nu} \exp \big[ h(\theta) \big( \sum t(y_i) + \delta \big) \big]$

なぜこの活用が役立つのでしょうか？ベイズ推論を実行しながら、解釈と計算の両方を単純化するからです。また、代数をあまり必要とせずに、事後分析的な式を簡単に作成できることも意味します。

データのモデルに生成プロセスを反映させる必要があります。ガウス変数を生成する「プロセス」は、指数関数を支配するものとは非常に異なる特性を持っています。その理由は必ずしも直感的ではありません。時には、他の分布特性を評価する必要があります。一例として、指数がフラットである一方でガウスのハザード関数が増加していると考えます。ささいな実用的な例として、Imが間隔であなたをつつくつもりで、「突き間間隔」がガウスまたは指数生成関数によって選択されると仮定します。ガウス分布の下では、ポークは予測可能であり、長い間隔の後には非常に可能性が高いと感じます。指数関数の下では、彼らは非常に予測できないと感じます。この理由は、基になる現象に依存する生成関数によるものです。