コーシー分布の位置パラメーターの最尤推定量

まで達しました

$$\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2}$$

ここで、は場所パラメーターです。そしては尤度関数です。続行する方法がわかりません。助けてください。$u$$L$

さて、コーシーのPDFは次のとおりです：

$f(x;\theta)=\frac{1}{\pi}\frac{1}{1+(x-\theta)^2}$ ここで、は中央値であり、コーシーの平均値が定義されていないため、平均値ではありません。$\theta$

$$L(\theta;x)=\frac{1}{\pi}\frac{1}{1+(x_1-\theta)^2}\frac{1}{\pi}\frac{1}{1+(x_2-\theta)^2}\cdots\frac{1}{\pi}\frac{1}{1+(x_n-\theta)^2}\\=\frac{1}{\pi^n} \frac{1}{\prod[1+(x_i-\theta)^2]}$$

$$\ell(\theta;x)=-n\log\pi-\sum_{i=1}^n\log[1+(x_i-\theta)^2]$$

$$\frac{d\ell(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$$

これはあなたが得たものとまったく同じですが、ここでは中央値であり、平均ではありません。あなたの公式ではが中央値だと思います。$\theta$$u$

次のステップでは、mleを見つけるために、$\frac{d\ell(\theta;x)}{d\theta} = \sum_{i=1}^n \frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

ここで、は変数であり、は既知の値です。方程式を解く必要がありますX I S Σ N iが= 1 2 （X I - θを$\theta$$x_is$$\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

つまり、です。この方程式を解くのは非常に難しいようです。したがって、ニュートンラプソン法が必要です。$\frac{2(x_1-\theta)}{1+(x_1-\theta)^2}+\frac{2(x_2-\theta)}{1+(x_2-\theta)^2}+\cdots+\frac{2(x_n-\theta)}{1+(x_n-\theta)^2}=0$

微積分の本の多くはその方法について話していると思います

ニュートンラプソン法の式は、ように記述できます。

$$\hat{\theta^1}=\hat{\theta^0}-\frac{\ell'(\hat{\theta^0})}{\ell''(\hat{\theta^0})} \tag 1$$

$\hat{\theta^0}$は最初の推測です$\theta$

$\ell'$は、対数尤度関数の1次導関数です。

$\ell''$は、対数尤度関数の2次導関数です。

からを取得できます次に、を、を取得して、を取得する...と間に大きな変化がなくなるまでこの反復を続ける ^ θ 1 ^ θ 1（1） ^ θ 2（1） ^ θ 3 ^ θ N ^ θ N - $\hat{\theta^0}$$\hat{\theta^1}$$\hat{\theta^1}$$(1)$$\hat{\theta^2}$$(1)$$\hat{\theta^3}$$\hat{\theta^n}$$\hat{\theta^{n-1}}$

以下は、コーシー分布のmleを取得するために書いたR関数です。

mlecauchy=function(x,toler=.001){      #x is a vector here
startvalue=median(x)
n=length(x);
thetahatcurr=startvalue;
# Compute first deriviative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
# Continue Newton’s method until the first derivative
# of the likelihood is within toler of 0.001
while(abs(firstderivll)>toler){
# Compute second derivative of log likelihood
 secondderivll=2*sum(((x-thetahatcurr)^2-1)/(1+(x-thetahatcurr)^2)^2);
# Newton’s method update of estimate of theta
thetahatnew=thetahatcurr-firstderivll/secondderivll;
thetahatcurr=thetahatnew;
# Compute first derivative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
}
list(thetahat=thetahatcurr);
}

ここで、データが$x_1=1.94,x_2=0.59,x_3=-5.98,x_4=-0.08,x_5-0.77$

x<-c(-1.94,0.59,-5.98,-0.08,-0.77)
mlecauchy(x,0.0001)

結果：

#$thetahat
#[1] -0.5343968

Rビルドイン関数を使用してmleを取得することもできます。

optimize(function(theta) -sum(dcauchy(x, location=theta, log=TRUE)),  c(-100,100)) 

#we use negative sign here

結果：

#$minimum
#[1] -0.5343902

結果は、自家製のコードとほとんど同じです。

---

OK、必要に応じて、これを手作業で行いましょう。

最初に、データの中央値なると初期推定を取得します$-5.98, -1.94, -0.77, -0.08, 0.59$

中央値は$-0.77$

次に、$l'(\theta)=\frac{dl(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$

および

$$l''(\theta)=\frac{dl^2(\theta;x)}{d(\theta}=\frac{d(\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2})}{d\theta}=2\sum_{i=1}^n\frac{(x_i-\theta)^2-1}{[1+(x_i-\theta)^2]^2}$$

次に、を接続しつまり、中央値をと$\hat{\theta^0}$$l'(\theta)$$l''(\theta)$

つまり、を置き換えつまり、中央値ie$\theta$$\hat{\theta^0}$$-0.77$

$$\begin{align} \ell'(\theta) = {} & \sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2} \\[10pt] = {} &\frac{2[-5.98-(-0.77)]}{1+[(-5.98-(-0.77)^2]} + \frac{2[-1.94-(-0.77)]}{1+[(-1.94-(-0.77)^2]} + \frac{2[-0.77-(-0.77)]}{1+[(-0.77-(-0.77)^2]} \\[6pt] & {} +\frac{2[-0.08-(-0.77)]}{1+[(-0.08-(-0.77)^2]} +\frac{2[0.59-(-0.77)]}{1+[(0.59-(-0.77)^2]}\\[10pt] = {} & \text{??} \end{align}$$

次にをおよびしてを取得すると、取得できます$x_1$$x_5$$-0.77$$\ell''(\theta)$$\hat{\theta^1}$

さて、ここで止める必要があります。これらの値を手動で計算するのは面倒です。