多変量ガウス対数尤度の勾配

勾配降下法でモデルのMAP推定値を見つけようとしています。私の以前は、既知の共分散行列をもつ多変量ガウスです。

概念的なレベルでは、私はこれを行う方法を知っていると思いますが、詳細についていくつかの助けを求めていました。特に、問題に対処する簡単な方法がある場合、それは特に役立ちます。

ここでは、私が何だと思う私は実行する必要があります。

• 各次元について、他の次元での現在の位置を指定して、条件付き分布を見つけます。
• これにより、正しい平均と標準偏差を使用して、各次元の局所的な一変量ガウス分布が得られます。
• 勾配は、これらの単変量分布のそれぞれの導関数のベクトルである必要があると思います。

私の質問には2つの部分があります。

1. これは最善のアプローチですか、それとももっと簡単な方法がありますか？
2. このルートに行く必要があると仮定すると、これらの条件付き分布を見つけるための最良の方法は何ですか？

最適化はどうですか？

$p(y|x, \theta)$$x$$\theta$$p(\theta)$$\mathcal{L} = p(y|x, \theta)p(\theta)$$\theta \sim \mathcal{N}(\mu, \Sigma)$。あなたはこの問題のMAPソリューションを見つけたい、すなわち この問題の特別なケースは、ニューラルネットワークコミュニティでよく研究されており、重みの減衰として知られています。その場合には、μ = 0とΣは= 私はσ 2を。

すでに述べたように、トリックはそれで。ガウス密度の対数を取ると、多くの醜い項（指数）が消え、log p （θ ）= 1のようなsthになります。$\text{argmax}_{\theta} \mathcal{L} = \text{argmax}_{\theta} \log \mathcal{L}$$\log p(\theta) = {1 \over 2}(\theta - \mu)^T\Sigma^{-1}(\theta - \mu) + \text{const}$

（確認してください。これはすぐに私の頭の中で行われました。）モデルの派生物と共に、既製のオプティマイザーを使用してMAPソリューションにたどり着くことができます。

更新：David J. Harrisによるコメントが組み込まれました。数式は正しいはずです。

可能性がガウスでない場合、分析結果があるかどうかを判断することはできません。また、2番目の箇条書きは一般に正しくありません。ガウス事前確率と一般尤度は、ベクトルコンポーネントの条件付きガウス分布を考慮していないためです。

MAPを取得する1つの方法は、MCMCを使用して完全なベイズ分析を行い、事後からのサンプルを使用して推定することです。[この場合、MAPだけを使用するよりも優れた情報が得られます。]興味がわからない-とにかく、このルートを下ってみませんか？

別のアプローチを行うこともできます（これが一般的に行われるのを見たことがないので、誰かがそれが問題である場合は修正してください）：

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

$l(\theta|x) = l(x|\theta) + l(\theta) - l(x)$

$\frac{dl(\theta|x)}{d\theta} = \frac{dl(x|\theta)}{d\theta} + \frac{dl(\theta)}{d\theta} = 0$

$\theta$