2つの多変量ガウス分布間のKL発散

2つの多変量正規分布を仮定したKL発散式の導出に問題があります。単変量のケースはかなり簡単にできました。ただし、数学の統計情報を取得してからかなりの時間が経過しているため、多変量のケースに拡張するのに苦労しています。単純なものが欠けているだけだと確信しています。

私が持っているものは...

両方の仮定とqは手段で正規分布の確率密度関数であり、μ 1及びμ 2と分散Σ 1及びΣ 2をそれぞれ、。qからpへのカルバック・ライブラー距離は次のとおりです。$p$$q$$\mu_1$$\mu_2$$\Sigma_1$$\Sigma_2$$q$$p$

の2面の多変量法線のためのものです、$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

この証明と同じロジックに従って、行き詰まる前にここまで到達します。

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

トレーストリックを実装する必要があると思いますが、その後はどうすればよいかわかりません。私を正しい道に戻すための役立つヒントをいただければ幸いです！

少し修正して始めたところから始めて、

$$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$$

Matrix Cookbookのセクション8.2のプロパティをいくつか使用していることに注意してください。