2
過剰パラメーター化モデルのフィッシャー情報行列行列式
ベルヌーイ確率変数の検討X∈{0,1}X∈{0,1}X\in\{0,1\}パラメータとθθ\theta(成功の確率)。尤度関数とフィッシャー情報(1×11×11 \times 1行列)は次のとおりです。 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} 成功の確率:今、二つのパラメータを持つ「オーバー・パラメータ」バージョンを検討と失敗の確率。(であり、この制約はパラメーターの1つが冗長であることを意味します。)この場合、尤度関数とフィッシャー情報行列(FIM)は次のとおりです。θ1θ1\theta_1θ0θ0\theta_0θ1+θ0=1θ1+θ0=1\theta_1+\theta_0=1 L2(θ1,θ0;X)I2(θ1,θ0)detI2(θ)=p(X|θ1,θ0)=θX1θ1−X0=(1θ1001θ0)=1θ1θ0=1θ1(1−θ1)L2(θ1,θ0;X)=p(X|θ1,θ0)=θ1Xθ01−XI2(θ1,θ0)=(1θ1001θ0)detI2(θ)=1θ1θ0=1θ1(1−θ1) \begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align} …