最尤法を使用して多変量正規モデルを近似するときに共分散行列のプロパティを保証する方法は？

22

私は次のモデルを持っているとします

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

ここで、、は説明変数のベクトル、は非線形関数およびのパラメーターです。ここで当然行列。 $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

目標は、およびを推定することです。明白な選択は最尤法です。このモデルの対数尤度（サンプルがあると仮定）は次のようになります $\theta$ $\Sigma$ $(y_i,x_i),i=1,...,n$

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

これは簡単に思えますが、対数尤度が指定され、データが入力され、非線形最適化のために何らかのアルゴリズムが使用されます。問題は、 $\Sigma$ が正定であることを確認する方法です。たとえばoptimR（またはその他の非線形最適化アルゴリズム）で使用しても、 $\Sigma$ が正定であることは保証されません。

質問は、 $\Sigma$ が確実に正定値を維持するようにする方法ですか？次の2つの解決策があります。

が上三角行列または対称行列である場合、として $\Sigma$ を再設定します。その場合、は常に正定値になり、は制約なしになります。 $RR'$ $R$ $\Sigma$ $R$
プロファイル尤度を使用します。およびの式を導き出します。いくつかのから開始して、、収束するまで。 $\hat\theta(\Sigma)$ $\hat{\Sigma}(\theta)$ $\theta_0$ $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$

他の方法はありますか？これらの2つのアプローチはどうですか？それらは機能しますか？それらは標準ですか？これはかなり標準的な問題のように思えますが、クイック検索では何の指針も得られませんでした。ベイジアン推定も可能であることは知っていますが、当面はそれを行いたくありません。

maximum-likelihood optimization covariance

— mpiktas
ソース

カルマンアルゴリズムにも同じ問題がありますが、問題ははるかに複雑で、ハミルトントリックを使用するほど簡単ではありません。それでは、もっと簡単なことは、単に使用するのかどうかと思い。このようにして、エラーを出さないようにコードを強制し、ソリューションを変更しません。これには、この用語に尤度の最終部分と同じ符号を強制するという利点もあります。何か案は？

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

共分散行列を構築するには、あなたは自動的に対称性の問題の世話をしていると仮定すると、あなたの対数尤度は次のようになります際理由の正定値ではないモデルの右での用語？数値誤差を防ぐためにあれば私は事前計算うと、そうでない正の場合は、そうでない場合は引き続き、-Infに等しい対数尤度を作ります。とにかく行列式を計算する必要があるので、これにより余分な計算が必要になることはありません。 $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— マクロ
ソース

5

結局のところ、プロファイルの最尤法を使用して必要なプロパティを確保できます。あなたは、与えられたためにそれを証明することができ、によって最大化されます $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

どこで

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

その後、それを示すことが可能です

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

したがって、最大化する必要があるだけです

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

当然この場合、は必要なすべてのプロパティを満たします。JDハミルトンによる時系列分析 295ページで見つけることができるが線形の場合、証明は同一であるため、それらを省略しました。 $\Sigma$ $f$

— mpiktas
ソース

3

共分散行列のための別のパラメータは、固有値の点であるおよび "ギブンズ"角度。 $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

つまり、次のように書くことができます

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

ここで、は正規直交であり、 $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

。 $\lambda_1 \geq ... \geq \lambda_p \geq 0$

一方、の点で一意にパラメータ化することができるの角度、、と [1]。 $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

（追加される詳細）

[1]：Hoffman、Raffenetti、Ruedenberg。「オイラー角のN次元直交行列への一般化」。J.数学。物理学 13、528（1972）

— charles.y.zheng
ソース

は対称行列であるため、行列

は実際には直交です。これは私が推奨しようとしたアプローチです-基本的に

ベクトルとモデル関数

を回転させて誤差が独立し、回転した各コンポーネントにOLSを適用することです（私は思う）。

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— 確率論的

2

charles.y.zhengのソリューションのラインに沿って、あなたはモデル化することを望むかもしれない、対角行列であり、にランク更新のコレスキー分解である。その後、正に保つために、の対角線を正に保つ必要があります。つまり、を推定する代わりに、の対角線との要素を推定する必要があります。 $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— みすぼらしい
ソース

この設定の対角要素の下には、対角が正である限り、私が望むものを使用できますか？numpyでこの方法で行列をシミュレートする場合、すべてが正定値であるとは限りません。

— sztal

Λ

$\Lambda$