異なる共分散の2つの2変量分布間のマハラノビス距離

質問はタイトルにかなり含まれています。異なる共分散行列の2つの分布のマハラノビス距離はどれくらいですか？これまでに見つけたものは、両方の分布に対して同じ共分散、つまり次のようなものを想定しています。

$$\Delta^T \Sigma^{-1} \Delta$$

2つの異なるがある場合はどうなり$\Sigma$ますか？

注：-問題はこれです。同じ次元であるが、互いに回転および平行移動する2変量分布が2つあります（申し訳ありませんが、統計的なものではなく、純粋な数学的背景に由来します）。それらの重なり具合/距離を測定する必要があります。

* 更新：* 2つの分布の平均値の間の距離が必要だということを、私が尋ねていることで暗黙的であるかどうかはわかりません。平均がどこにあるかはわかっていますが、2つの分布は互いに対して回転しているため、異なる方向に異なる重みを割り当てる必要があるため、平均間の単純なユークリッド距離では機能しません。さて、私が理解しているように、分布が異なる形の場合、マハラノビス距離を使用してこの情報を測定することはできません（明らかに、同一の共分散の2つの多変量正規分布で機能しますが、一般的なケースでは機能しません）。異なる重みで向きをエンコードするというこの願いをエンコードする良い方法はありますか？

確率分布間の距離については、多くの概念があります。どちらを使用するかは、目的によって異なります。 総変動距離は、分布間の重なりを測定する自然な方法です。多変量法線を使用している場合、カルバックライブラーダイバージェンスは数学的に便利です。これは実際には距離ではありませんが（対称であることができず、三角形の不等式に従うことができないため）、合計変動距離の上限になります。ピンスカーの不等式を参照してください。

イントロ @vqvが言及したように、トータルバリエーションとカルバックライブラーは興味深い距離です。最初のものは、仮説検定における1番目と2番目のタイプのエラーに直接関連している可能性があるため、意味があります。総変動距離の問題は、計算が難しいことです。カルバックレイブラー距離は計算が簡単で、後で説明します。それは対称的ではありませんが、対称的にすることができます（どういうわけか人工的に少し）。

回答 私は言及何かここではあればということである、あなたの2つのガウス対策間の対数尤度比であるP 0、P 1は、（のためにと言う私は= 0を、1つのP iの平均持ちμ Iおよび共分散C 私もintersetingされるエラー対策を） （ガウスの場合、私は実際にはかなり中心的であることがわかりました）$\mathcal{L}$$P_0,P_1$$i=0,1$ $P_i$$\mu_i$$C_i$

$$\|\mathcal{L}\|^2_{L_2(P_{1/2})}$$

選択されたウェルについて。$P_{1/2}$

簡単な言葉で：

• 共分散行列「補間」のいずれかを使用して式を用いて得られる別の興味深い「方向」回転、があるかもしれない（iは= 1 、2 、3 、4または5）の端部に定義されこの投稿の（番号5は、質問へのコメントで提案したものです）。 $\Sigma=C_{i,1/2}$$i=1,2,3,4$$5$$5$
• 2つの分布の共分散は異なるため、平均を比較するだけでは不十分で、共分散も比較する必要があります。

これはあなたがの場合にこれを計算することができますどのように、私の気持ちですなぜ私はあなたを説明しましょうと選択する方法をP 1 / 2。$C_1\neq C_0$$P_{1/2}$

線形の場合であれば。$C_1=C_0=\Sigma$

$$\sigma= \Delta \Sigma^{-1} \Delta=\|2\mathcal{L}\|^2_{L_2(P_{1/2})}$$

ここで、との間の"補間"であり、P 1及びP 0（共分散を有するガウスΣ平均（μ 1 + μ 0）/ 2）。この場合、Hellinger距離、総変動距離はすべてσを使用して記述できることに注意してください。$P_{1/2}$$P_1$$P_0$$\Sigma$$(\mu_1+\mu_0)/2$$\sigma$

一般的なケースでを計算する方法$\mathcal{L}$あなたの質問（および私のもの）から生じる自然な質問は、C 1 ≠ C 0のときのとP 0の間の自然な「補間」です。ここで自然という言葉はユーザー固有かもしれませんが、たとえば、別の距離（ここではL 1距離など）でタイトな上限を持つことは、最良の補間に関連している可能性があります。$P_1$$P_0$$C_1\neq C_0$$L_1$

足す （i=0、j=1）は、補間タスクがどこにあるかを確認するのに役立ちますが、次のようになります。

$$\mathcal{L}= \phi (C^{-1/2}_i(x-\mu_i))-\phi (C^{-1/2}_j(x-\mu_j))-\frac{1}{2}\log \left ( C_iC_j^{-}\right )$$ $i=0,j=1$

$$\mathcal{L}(x)=-\frac{1}{2}\langle A_{ij}(x-s_{ij}),x-s_{ij}\rangle_{\mathbb{R}^p}+\langle G_{ij},x-s_{ij}\rangle_{\mathbb{R}^p}-c_{ij}, \;[1]$$

と

cij=

$$A_{ij}=C_i^{-}-C_j^{-},\;\; G_{ij}=S_{ij}m_{ij},\;\; S_{ij}=\frac{C_i^{-}+C_j^{-}}{2},$$ $$c_{ij}=\frac{1}{8}\langle A_{ij} m_{ij},m_{ij}\rangle_{\mathbb{R}^p}+\frac{1}{2}\log|\det(C_j^{-}C_i)|$$

そして

$$m_{ij}=\mu_i-\mu_j \;\; and\;\; s_{ij}=\frac{\mu_i+\mu_j}{2}$$

計算の目的により適しています。任意ガウスのために平均とS 01及び共分散Cの計算‖ L ‖ 2 L 2（P 1 / 2）式から1ビット技術が、faisibleあります。カルバックレイブラー距離の計算にも使用できます。$P_{1/2}$$s_{01}$$C$$\|\mathcal{L}\|^2_{L_2(P_{1/2})}$$1$

我々は選ぶべきどのような補間（すなわち選択する方法を）$P_{1/2}$ それは明確式から理解されている$1$$P_{1/2}$$t\in [0,1]$$P_t$$t\mu_1+(1-t)\mu_0$

1. の分布として ξ 、T = T ξ 1 + （1 - T ）ξ 0 （ ξ iはから引き出されます$P^1_t$ $$\xi_t=t\xi_1+(1-t)\xi_0$$ $\xi_i$ iは= 0 、1を共有している） C $P_i$ $i=0,1$$C_{t,1}=(tC_1^{1/2}+(1-t)C_0^{1/2})^2$
2. と逆共分散 C − $P^2_t$$C_{t,2}^{-1}=tC_{1}^{-1}+(1-t)C_0^{-1}$
3. $P^3_t$$C_{t,3}=tC_1+(1-t)C_0$
4. と逆共分散 C − 1 t 、4$P^4_t$$C_{t,4}^{-1}=(tC^{-1/2}_1+(1-t)C^{-1/2}_0)^{2}$

$C_{t,5}=C_1^{t}C_0^{1-t}$

私は最初の選択肢ではない私のお気に入りの選択肢を持っています:)ここでそれを議論する時間はあまりありません。多分私はこの答えを後で編集します...

これは古いですが、これを読んでいる他の人にとって、共分散行列はガウス分布の回転を反映し、平均は分布の平行移動または中心位置を反映しています。マハブ距離を評価するには、単純にD =（（m2-m1）* inv（（C1 + C2）/ 2）*（m2-m1） '）です。2つの2変量分布が同じであると思われるが、それらが回転していると思われる場合は、各分布の固有ベクトルと固有値の2つのペアを計算します。固有ベクトルは、主軸と副軸に沿った2変量データの広がりの方向を指し、固有値はこの広がりの長さを示します。固有値が同じ場合、2つの分布は同じですが回転します。固有ベクトル間の内積のacosを取り、回転角度を取得します。