バタチャリャ距離とKL発散の違い

33

次の質問に対する直感的な説明を探しています。

統計と情報理論では、2つの離散確率分布の差の尺度として、バタチャリャ距離とKL発散の違いは何ですか？

それらはまったく関係がなく、まったく異なる方法で2つの確率分布間の距離を測定しますか？

36

バタチャリヤ係数は、のように定義されるとの距離に変えることができるとしてと呼ばれるヘリンガー距離。この間の接続ヘリンガー距離とカルバック・ライブラー情報量である

D_{B} （ p 、 q ） = \int \sqrt{p （ バツ ） q （ バツ ）} d バツ

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} （ p 、 q ） = {1 - D_{B} （ p 、 q ）}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} （ p ‖ q ） \geq 2 d_{H}^{2} （ p 、 q ） = 2 {1 - D_{B} （ p 、 q ）} 。

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

ただし、これは問題ではありません。Bhattacharyya距離がとして定義されている場合その後、

d_{B} （ p 、 q ） \overset{def}{=} - ログ D_{B} （ p 、 q ） 、

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$

\begin{aligned} d_{B} （ p 、 q ） = - ログ D_{B} （ p 、 q ） & = - ログ \int \sqrt{p （ バツ ） q （ バツ ）} d バツ \\ \overset{def}{=} - ログ \int h （ バツ ） d バツ \\ = - ログ \int \frac{h （ バツ ）}{p （ バツ ）} p （ バツ ） d バツ \\ \leq \int - ログ {\frac{h （ バツ ）}{p （ バツ ）}} p （ バツ ） d バツ \\ = \int \frac{- 1}{2} ログ {\frac{h^{2} （ バツ ）}{p^{2} （ バツ ）}} p （ バツ ） d バツ \\ = \int \frac{- 1}{2} ログ {\frac{q （ バツ ）}{p （ バツ ）}} p （ バツ ） d バツ = \frac{1}{2} d_{K L} （ p ‖ q ） \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ したがって、2つの距離の不等式は

d_{K L} （ p ‖ q ） \geq 2 d_{B} （ p 、 q ） 。

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ この不等式が最初の不等式から生じるのではないかと思うかもしれません。反対のことが起こります：

- l o g （ バツ ） \geq 1 - バツ 0 \leq バツ \leq 1 、

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ ここに画像の説明を入力してください

完全な注文があります

d_{K L} （ p ‖ q ） \geq 2 d_{B} （ p 、 q ） \geq 2 d_{H} （ p 、 q ）^{2} 。

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— 西安
ソース

2

Brilliant! This explanation should be the one I am looking for eagerly. Just one last question: in what case (or what kinds of P and Q) will the inequality becomes equality?

— JewelSue

1

Given that the

- \log (\cdot)

$-\log(\cdot)$ function is strictly convex, I would assume the only case for equality is when the ratio

p (x) / q (x)

$p(x)/q(x)$ で一定です

x

$x$ 。

— 西安14

5

そして唯一の場合

p (x) / q (x)

$p(x)/q(x)$ で一定です

x

$x$ いつ

p = q

$p=q$ 。

— 西安

8

両者の間に明確な関係はありませんが、私が見つけられるものを見るためにそれらを簡単に突くことにしました。したがって、これはあまり答えではありませんが、興味深い点です。

簡単にするために、離散分布を操作しましょう。BC距離は次のように記述できます。

d_{紀元前} （ p 、 q ） = - \ln \sum_{バツ} （ p （ バツ ） q （ バツ ） ）^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

KLの発散

d_{KL} （ p 、 q ） = \sum_{バツ} p （ バツ ） \ln \frac{p （ バツ ）}{q （ バツ ）}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

これで、ログを合計内にプッシュすることはできません $\text{BC}$ 距離なので、ログを外側に引っ張ってみましょう $\text{KL}$ 発散：

d_{KL} （ p 、 q ） = - \ln \prod_{バツ} {（ \frac{q （ バツ ）}{p （ バツ ）} ）}^{p （ バツ ）}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

次の場合の動作を考えてみましょう $p$ 上の均一分布になるように固定されています $n$ 可能性：

d_{KL} （ p 、 q ） = - \ln n - \ln {（ \prod_{バツ} q （ バツ ） ）}^{\frac{1}{n}} d_{紀元前} （ p 、 q ） = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{バツ} \sqrt{q （ バツ ）}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

左側には、幾何平均と形式が似ている何かのログがあります。右側には、算術平均の対数に似たものがあります。私が言ったように、これはあまり答えではありませんが、BCの距離とKLの発散が、 $p$ そして $q$ 。

— アンディ・ジョーンズ
ソース