最尤法を使用して多変量正規モデルを近似するときに共分散行列のプロパティを保証する方法は？
私は次のモデルを持っているとします yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i ここで、、 は説明変数のベクトル、は非線形関数およびのパラメーターです。ここで当然行列。X I θ F ε I〜N （0 、Σ ）Σ K × Kyi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK×KK×KK\times K 目標は、およびを推定することです。明白な選択は最尤法です。このモデルの対数尤度（サンプルがあると仮定）は次のようになりますΣ （Y iは、X I）、iは= 1 、。。。、nθθ\thetaΣΣ\Sigma(yi,xi),i=1,...,n(yi,xi),i=1,...,n(y_i,x_i),i=1,...,n l(θ,Σ)=−n2log(2π)−n2logdetΣ−∑i=1n(yi−f(xi,θ))′Σ−1(y−f(xi,θ)))l(θ,Σ)=−n2log(2π)−n2logdetΣ−∑i=1n(yi−f(xi,θ))′Σ−1(y−f(xi,θ)))l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta))) これは簡単に思えますが、対数尤度が指定され、データが入力され、非線形最適化のために何らかのアルゴリズムが使用されます。問題は、ΣΣ\Sigmaが正定であることを確認する方法です。たとえばoptimR（またはその他の非線形最適化アルゴリズム）で使用しても、ΣΣ\Sigmaが正定であることは保証されません。 質問は、ΣΣ\Sigmaが確実に正定値を維持するようにする方法ですか？次の2つの解決策があります。 Rが上三角行列または対称行列である場合、RRとしてΣΣ\Sigmaを 再設定します。その場合、\ Sigmaは常に正定値になり、Rは制約なしになります。RR′RR′RR'RRRΣΣ\SigmaRRR プロファイル尤度を使用します。およびの式を導き出します。いくつかのから開始して、、収束するまで。θ^(Σ)θ^(Σ)\hat\theta(\Sigma)Σ^(θ)Σ^(θ)\hat{\Sigma}(\theta)θ0θ0\theta_0Σ^j=Σ^(θ^j−1)Σ^j=Σ^(θ^j−1)\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})θ^j=θ^(Σ^j−1)θ^j=θ^(Σ^j−1)\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1}) 他の方法はありますか？これらの2つのアプローチはどうですか？それらは機能しますか？それらは標準ですか？これはかなり標準的な問題のように思えますが、クイック検索では何の指針も得られませんでした。ベイジアン推定も可能であることは知っていますが、当面はそれを行いたくありません。