切り捨てられた分布の最尤推定量

検討$N$の独立した試料$S$ランダム変数から得られた$X$（例えばA切り捨て分布に従うと仮定される正規分布を切り捨て既知の（有限の）最小値と最大値の）およびBが、未知パラメータのμ及びσ 2。場合Xは非切り捨て分布に従って、最尤推定量は、μ及びσ 2のためのμ及びσ 2からSは試料の平均であろうμ$a$$b$$\mu$$\sigma^2$$X$$\widehat\mu$$\widehat\sigma^2$$\mu$$\sigma^2$$S$$\widehat\mu = \frac{1}{N} \sum_i S_i$及び試料分散 σ 2=1$\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$。しかし、切り捨て分布のために、このように定義されたサンプル分散はで囲まれている$(b-a)^2$、それは必ずしも一致推定量ではないのでための：$\sigma^2 > (b-a)^2$、それに対して確率で収束することができません$\sigma^2$として$N$無限大になります。そのようですので、 μ及び σ 2は、の最尤推定量ではありませんμ$\widehat\mu$$\widehat\sigma^2$$\mu$そして、切り捨て配布するため。もちろん、これは以来、予想されるμとσ 2つの切断正規分布のパラメータは、その平均と分散ではありません。$\sigma^2$$\mu$$\sigma^2$

それでは、既知の最小値と最大値の切り捨てられた分布のおよびσパラメーターの最尤推定量は何ですか？$\mu$$\sigma$

「標準」分布Fによって決定されるロケーションスケールファミリを検討します。$F$

$$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$$

微分可能と仮定すると、PDFは$F$。$\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

これらの配布を切り捨て、aとbの間のサポートを制限するため、a < bは、PDFが次のように置き換えられることを意味します。$a$$b$$a \lt b$

$$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$$

（他のすべての値ではゼロです）ここで、C （μ 、σ 、a 、b ）= F （μ 、σ ）（b ）− F （μ 、σ ）（a ）は、f （μ 、σ ; a 、b ）は単一性に統合されます。（Cはまったく同じであることに注意してください$x$$C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$$f_{(\mu, \sigma; a, b)}$$C$$1$ in the absence of truncation.) The log likelihood for iid data $x_i$ therefore is

$$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$$

Critical points (including any global minima) are found where either $\sigma=0$ (a special case I will ignore here) or the gradient vanishes. Using subscripts to denote derivatives, we may formally compute the gradient and write the likelihood equations as

$$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$$

Because $a$ and $b$ are fixed, drop them from the notation and write $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ as $A(\mu,\sigma)$ and $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ as $B(\mu, \sigma)$. (With no truncation, both functions would be identically zero.) Separating the terms involving the data from the rest gives

$$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$$

By comparing these to the no-truncation situation it is evident that

• Any sufficient statistics for the original problem are sufficient for the truncated problem (because the right hand sides have not changed).

• Our ability to find closed-form solutions relies on the tractability of $A$ and $B$. If these do not involve $\mu$ and $\sigma$ in simple ways, we cannot hope to obtain closed-form solutions in general.

For the case of a normal family, $C(\mu,\sigma,a,b)$ of course is given by the cumulative normal PDF, which is a difference of error functions: there is no chance that a closed-form solution can be obtained in general. However, there are only two sufficient statistics (the sample mean and variance will do) and the CDF is as smooth as can be, so numerical solutions will be relatively easy to obtain.