どの分布が最尤推定のための閉形式の解を持っていますか？

独立した観測のサンプルからのパラメーターの最尤推定値に対して、どの分布が閉形式の解を持っていますか？

一般性をかなりの損失なしに、我々は、確率密度（または質量）と仮定することができるの任意の観察は、xはI（のうちn個の指数関数として書くことを可能にする、厳密に正である観察）$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

パラメータベクトルの。$\theta = (\theta_j)$

対数尤度関数の勾配をゼロに等しくすると（尤度の静止点を見つけ、その中に存在する場合はすべての内部グローバル最大値）、次の形式の方程式のセットが得られます。

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

それぞれに1つ。これらのいずれかがすぐに解決できるように、θからx i項を分離できるようにしたいと思います。$j$$x_i$$\theta$用語。（すべてが数学の怠azineの原理に動機付けられたこの重要なアイデアから流れています：できるだけ少ない作業をしてください;計算する前に先を考えてください;最初に難しい問題の簡単なバージョンに取り組みます。）これを行う最も一般的な方法は方程式を採用することですフォーム

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

既知の機能のための、τ J、および$\eta_j$$\tau_j$、その後のための溶液は、連立方程式を解くことによって得られます。$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

以下のための。一般に、これらは、解決が困難である、しかしの値のセット提供します（N α J（θに$\theta$についての完全な情報提供θを、我々は単純に使用することができ、このベクトルの代わりに、θ自体は（それによって、多少）が、非常に生産的な方法では、「閉じた形」ソリューションのアイデアを一般化。そのような場合には、に関して統合θj個の利回り$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

（ここで、、すべてのコンポーネントを表してθを除きますθ J）。左手側はの機能的に独立であるため、θ jを、我々が持っている必要があり、そのτ J（X ）= T （X ）、いくつかの固定機能のためのT。そのBは、θにまったく依存してはいけません。およびη jは、いくつかの機能の誘導体であるH （θ ）およびα jのいくつかの他の機能の誘導体であり、$\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$、どちらも機能的にデータとは無関係です。ホセ

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

この形式で記述できる密度は、よく知られているKoopman-Pitman-Darmoisファミリ、または指数関数ファミリを構成します。これは、ガンマ、標準、カイ2乗、ポアソン、多項、および他の多くを含む、連続および離散の両方の重要なパラメトリックファミリで構成されます。

それらをすべてリストできるかどうかはわかりません。指数、通常、二項が思い浮かび、それらはすべて指数ファミリーのクラスに分類されます。指数族は指数に十分な統計があり、mleは多くの場合、この十分な統計の優れた関数です。