2変量正規分布のJensen-Shannon発散

8

2つの二変量正規分布とられた場合、それらの間のJensen-Shannon発散を計算しようとしています、として次のように定義されます（ここではカルバックライブラーダイバージェンスです）、および分布のパラメーター、したがってに関してを計算する方法を見つけました。 $P \equiv \mathcal{N}(\mu_p, \Sigma_p)$ $Q \equiv \mathcal{N}(\mu_q, \Sigma_q)$ $JSD(P\|Q) = \frac{1}{2} (KLD(P\|M)+ KLD(Q\|M))$ $KLD$ $M=\frac{1}{2}(P+Q)$
$KLD$ $JSD$

私の疑問は：

を計算するに $M$ は、 $M \equiv \mathcal{N}(\frac{1}{2}(\mu_p + \mu_q), \frac{1}{2}(\Sigma_p + \Sigma_q))$ 。これは正しいですか？
[ 1 ]で $JSD$ が制限されていることを読みましたが、正規分布について上記で説明したように計算すると、そのようには見えません。それは私がそれを間違って計算している、仮定に違反している、または私が理解できない何かを意味しているのですか？

normal-distribution distance-functions information-theory

— ホルヘ
ソース

8

中点メジャーは、2つの多変量正規分布の混合分布であるため、指定した形式ではありません元の投稿で。ましょうの確率密度関数であるランダムベクトルとのPDFである。次に、中点メジャーのpdfは $\newcommand{\bx}{\mathbf{x}} \newcommand{\KL}{\mathrm{KL}}M$ $\varphi_p(\bx)$ $\mathcal{N}(\mu_p, \Sigma_p)$ $\varphi_q(\bx)$ $\mathcal{N}(\mu_q, \Sigma_q)$

φ_{m} (x) = \frac{1}{2} φ_{p} (x) + \frac{1}{2} φ_{q} (x) .

$\varphi_m(\bx) = \frac{1}{2} \varphi_p(\bx) + \frac{1}{2} \varphi_q(\bx) \> .$

ジェンセンシャノンの相違は、ここで、はメジャー対応する（微分）エントロピーを示します。

J S D = \frac{1}{2} (K L (P ‖ M) + K L (Q ‖ M)) = h (M) - \frac{1}{2} (h (P) + h (Q)),

$\mathrm{JSD} = \frac{1}{2} (\KL(P\,\|M)+ \KL(Q\|M)) = h(M) - \frac{1}{2} (h(P) + h(Q)) \>,$

h (P)

$h(P)$

P

$P$

したがって、計算は微分エントロピーを計算することになります。多変量正規場合、答えはことがよく知られていますと証明は、Cover and Thomas（1991）pp。230-231など、いくつものソースで見つけることができます。上記の式が示すように、多変量正規のエントロピーは平均に関して不変であることを指摘する価値があります。ただし、これはほぼ確実に法線の混合の場合に引き継がれません。（ゼロを中心とした1つの広い法線と、原点から離れたところにある別の集中法線を選択することを考えてください。） $\mathcal{N}(\mu, \Sigma)$

\frac{1}{2} \log_{2} ((2 π e)^{n} | Σ |)

$\frac{1}{2} \log_2\big((2\pi e)^n |\Sigma|\big)$

中点の測定では、物事はより複雑に見えます。私が知っていることですが、微分エントロピーの閉形式の式はありません。Googleで検索すると、いくつかの潜在的なヒットが得られますが、一般的なケースでは、上位のヒットは閉じたフォームを提供していないようです。なんらかの方法でこの量を概算することに行き詰まっている場合があります。 $h(M)$

また、あなたが参照する論文は、取り扱いを離散分布のみに限定するものではないことにも注意してください。彼らはあなたの問題が彼らの枠組みの中に入るのに十分一般的なケースを扱います。1859ページの2列目の中央を参照してください。ここにも、発散が制限されていることが示されています。これは、2つの一般測度の場合に当てはまり、2つの離散分布の場合に限定されません。

Jensen-Shannon Divergenceがこのサイトの他の質問で最近数回出てきました。こちらとこちらをご覧ください。

補遺：法線の混合は、法線の線形結合と同じではないことに注意してください。これを確認する最も簡単な方法は、1次元の場合を考えることです。みようと、それらがであるものとする独立互いに。次に、重みを使用した2つの法線の混合は、分布 $X_1 \sim \mathcal{N}(-\mu, 1)$ $X_2 \sim \mathcal{N}(\mu, 1)$ $(\alpha, 1-\alpha)$ $\alpha \in (0,1)$

φ_{m} (x) = α \cdot \frac{1}{\sqrt{2 π}} e^{- \frac{(x + μ)^{2}}{2}} + (1 - α) \cdot \frac{1}{\sqrt{2 π}} e^{- \frac{(x - μ)^{2}}{2}} .

$\varphi_m(x) = \alpha \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{(x+\mu)^2}{2}} + (1-\alpha) \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2}} \> .$

分布線形結合のおよび前と同じ重みを用いて、ビア、ある安定した正規分布の特性である。 $X_1$ $X_2$

φ_{ℓ} (x) = \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(x - (1 - 2 α) μ)^{2}}{2 σ^{2}}},

$\varphi_{\ell}(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-(1-2\alpha)\mu)^2}{2\sigma^2}} \>,$

σ^{2} = α^{2} + (1 - α)^{2}

$\sigma^2 = \alpha^2 + (1-\alpha)^2$

これらの2つの分布は非常に異なりますが、平均は同じです。これは偶然ではなく、期待の直線性から来ています。

混合分布を理解するには、統計コンサルタントに依頼して、彼女がこの分布から値を生成できるようにするとします。彼女は1 つの手のひらで実現を1つ、もう1つの手のひらで実現を1つ保持しています（ただし、2つの手のひらのどちらが入っているかはわかりません）。今、彼女のアシスタントはバイアスされたコインを確率であなたの視界から外し、結果を統計家の耳にささやきます。彼女は手のひらの1つを開き、実現を示しますが、コイン投げの結果はわかりません。このプロセスにより、混合分布が生成されます。 $X_1$ $X_2$ $\alpha$

一方、線形結合は同じコンテキストで理解できます。統計コンサルタントは単に両方の実現を受け取り、最初のと2番目の乗算し、結果を合計して表示します。 $\alpha$ $(1-\alpha)$

— 枢機卿
ソース

ご回答有難うございます。だから、私の問題は（私が計算した）中点分布にあります。私が明白な質問をしている場合、私の無知を許してください。しかし、中点分布は、正規分布確率変数の合計とどう違うのですか？私たちが二変量のケースにいるからですか？

— ジョルジュ

2

@jorges合計は正常であるため、単一モードについて対称です。2つの平均が（それらのSDと比較して）十分に離れている場合、混合分布は二峰性です。縮退したケース（平均値とSDが等しい）を除いて、混合は正常ではありません。これは、の式からも明らか。この指数の平均は、2次形式の指数として書き込むことはできません。

φ_{m}

$\varphi_m$

— whuber

@whuber and cardinal：直感的に私はあなたの言うことを理解していますが、コンセプトに関して深刻な問題を抱えているようです。私は実際には統計学者ではなく、「確率変数の合計」と「混合分布」を混合していると思います。私はどの枢機卿とあなたが答えたのかについては本当に争っていませんが、どこかで違いとそれをいつ使うべきかを理解しようとしています。私はいくつかの読書をするために戻って、私が自分を片付けることができるかどうかを確認します。ご回答ありがとうございます。

— ホルジュ

2

枢機卿の答えは正しいです。あなたは、2つのガウス分布のジェンセンシャノン分岐の閉じた形の解を得ようとしています。そのような解決策はありません。

ただし、モンテカルロサンプリングを使用すると、ジェンセンシャノンを任意の精度で計算できます。必要なのは、を計算する方法であり、拡張によってです。カルバックライブラーダイバージェンスは次のように定義されます。 $KLD(P|M)$ $KLD(Q|M)$

K L D (P | M) = \int P (x) l o g (\frac{P (x)}{M (x)}) d x

$KLD(P|M) = \int P(x) log\big(\frac{P(x)}{M(x)}\big) dx$

これのモンテカルロ近似は次のとおりです。

K L D_{a p p r o x} (P | M) = \frac{1}{n} \sum_{i}^{n} l o g (\frac{P (x_{i})}{M (x_{i})})

$KLD_{approx}(P|M) = \frac{1}{n} \sum^n_i log\big(\frac{P(x_i)}{M(x_i)}\big)$

ここで、はからサンプリングされています。これは、ガウス分布なので簡単です。、。はとして計算できます。 $x_i$ $P(x)$ $n \to \infty$ $KLD_{approx}(P|M) \to KLD(P|M)$ $M(x_i)$ $M(x_i) = \frac{1}{2}P(x_i) + \frac{1}{2}Q(x_i)$

— フランクD
ソース

こんにちは@FrankD-私はここにあなたの提案を実装してみました：stats.stackexchange.com/questions/345915/…私はそれがあなたの意図したものとはまったく思っていません。ポインタは大歓迎です。

— アストリッド