指数ファミリ：観察された統計と期待される十分な統計

私の質問は、ランダムベクトルの観測に基づいてディリクレ分布の最尤推定量を導出するという文脈で、証明なしに次のように述べているMinkaの「ディリクレ分布の推定」を読んでいることから生じます。

指数関数ファミリーの場合と同様に、勾配がゼロの場合、予想される十分な統計は、観測された十分な統計と等しくなります。

このように提示された指数関数の最尤推定を見たことがなく、検索で適切な説明も見つかりませんでした。誰かが観測された統計と予想される十分な統計との関係についての洞察を提供し、おそらくそれらの差を最小化することで最尤推定を理解するのを助けることができますか？

これは指数関数的ファミリーに関する通常の主張ですが、私の意見では、ほとんどの場合、経験の少ない読者を混乱させるような方法で述べられています。額面でとると、「ランダム変数が指数ファミリーの分布に従う場合、サンプルを取り、それを十分な統計に挿入すると、統計の真の期待値が得られます。」それだけだった場合は...さらに、サンプルのサイズが考慮されないため、さらに混乱が生じる可能性があります。

指数密度関数は

$$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$$

$T(x)$

$S_x$$X$

$$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$$

$(2)$$\theta$

$$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$$

差別化と統合の順序を入れ替えることで、

$$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$$

私たちが持っている差別化を実行する

$$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$$

$(5)$$(4)$

$$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$$

$$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$$

$(6)$$\theta$$\theta$$T(X)$$\theta_0$$(6)$

$$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$$

$n$

$$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$$

$\theta$$0$

$$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$$

$(7)$$(6a)$$2$ $\theta$$\hat \theta$$3,4,5,6$$\hat \theta$$6a$$\hat \theta$

$$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$$

$(7)$

$$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$$

$\hat \theta(x)$$\theta$$\mathbf x$

$n=1$