カルバック・ライブラー距離の適応？

この画像見て：

赤の密度からサンプルを描画する場合、一部の値は0.25未満になると予想されますが、青の分布からこのようなサンプルを生成することはできません。結果として、赤の密度から青の密度までのカルバック・ライブラー距離は無限大です。ただし、2つの曲線は「自然な意味」ではそれほど明確ではありません。

ここに私の質問があります：これらの2つの曲線間の有限距離を可能にするカルバック・ライブラー距離の適応が存在しますか？

Devroye、Gyorfi、およびLugosiの第3章、パターン認識の確率論理論、Springer、1996を参照してください。特に、分岐に関するセクションを参照してください。$f$

-Divergencesは、Kullback--Leiblerの一般化と見なすことができます（または、KLは f -Divergenceの特殊なケースと見なすことができます）。$f$$f$

一般的な形式は

$$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$$

ここで、はpとqに関連するメジャーを支配するメジャーであり、f （⋅ ）はf （1 ）= 0を満たす凸関数です。（p （x ）およびq （x ）がルベーグ測度に関する密度である場合、単に表記d xをλ （d x ）に置き換えるだけで構いません。）$\lambda$$p$$q$$f(\cdot)$$f(1) = 0$$p(x)$$q(x)$$dx$$\lambda(dx)$

を取ることでKLを回復します。私たちは、経由ヘリンガー差を取得することができ、F （X ）= （1 - $f(x) = x \log x$そして、f（x）= 1を取ることにより、全変動またはL1距離を取得します$f(x) = (1 - \sqrt{x})^2$$L_1$。後者は$f(x) = \frac{1}{2} |x - 1|$

$$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$$

この最後のものは、少なくとも有限の答えを与えることに注意してください。

密度推定：The View$L_1$というタイトルの別の小さな本で、Devroyeは（とりわけ）多くの素晴らしい不変性の性質のため、後者の距離の使用を強く主張しています。後者の本は、おそらく前者よりも手に入れるのが少し難しく、タイトルが示すように、もう少し専門的です。

---

補遺：この質問を通して、@ Didierが提案する測定値は（定数まで）Jensen-Shannon Divergenceとして知られているように見えることに気付きました。その質問で提供された回答へのリンクをたどると、この量の平方根が実際にメトリックであり、以前は文献で発散の特殊なケースであると認識されていたことがわかります。 。私たちは、この質問の議論を介して、（むしろ迅速に）ホイールをまとめて「再発明」したように見えることを興味深いと感じました。@Didierの応答の下のコメントで私がそれに与えた解釈も以前に認識されていました。実際、すべての周りに、きちんとした種類の。$f$

カルバック・ライブラーダイバージェンスのPに対してQとき無限大Pがに関して絶対的に連続していないQ、測定可能なセットが存在する場合には、そのようにQ （A ）= 0とPが（A ）≠ 0。さらに、一般にκ （P ∣ Q ）≠ κ （Q ∣であるという意味で、KLの発散は対称ではありません$\kappa(P|Q)$$P$$Q$$P$$Q$$A$$Q(A)=0$$P(A)\ne0$。リコールその κ （P | Q ）= ∫ P ログ（$\kappa(P\mid Q)\ne\kappa(Q\mid P)$ これらの両方の欠点を解決する方法は、依然としてKLの発散に基づいているため、中点R=1を導入することです。

$$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$$ したがって、Rは確率測度であり、PとQはRに関して常に完全に連続しています。したがって一つとの間の"距離"を検討することができ、PとQを、依然としてKLダイバージェンスが、使用に基づいてRのように定義さ、 η（P、Q）=κ（P|R）+κ（Q|R）。 次にη（ $$R=\tfrac12(P+Q).$$ $R$$P$$Q$$R$$P$$Q$$R$ $$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$$ すべてのための非負と有限である P及び Q、 ηは意味で対称である η （P 、Q ）= η （Q 、P ）ごと用 P及び Q、及び η （P 、Q ）= 0 IFF P = Q。$\eta(P,Q)$$P$$Q$$\eta$$\eta(P,Q)=\eta(Q,P)$$P$$Q$$\eta(P,Q)=0$$P=Q$

同等の定式化は、

$$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$$

補遺1つの中点の導入及びQは意味で任意ないという η （P 、Q ）= 分[ κ （P | ⋅ ）+ κ （Q | ⋅ ）] 、 最小のセットの上にあります確率測定。$P$$Q$

$$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$$

補遺2こと@cardinal発言もF凸関数のため、-divergence F （X ）= X ログ（X ）- （1 + X ）ログ（1 + X ）+ （1 + X ）ログ（2 ）$\eta$$f$

$$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$$

$P$$Q$$P$$Q$

これをKL距離の「適応」として特徴付けることは困難ですが、「自然」で有限であるという他の要件を満たします。

$\mathbb{R_+} \to [0,C]$$C$

$P$$Q$$\kappa(P \mid Q)$

$$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$$

固有の不一致（またはベイジアン参照基​​準）を検索すると、この測定に関する記事がいくつか表示されます。

あなたの場合、有限のKL発散を取るだけです。

KLのもう1つの代替手段は、ヘリンガー距離です。

$Q\rightarrow 0$ $P\rightarrow 0$ $0$

$$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$$

Taking limit as $P\rightarrow 0$ over a region of the integral, the second integral diverges, and the first integral converges to $0$ over this region (assuming the conditions are such that one can interchange limits and integration). This is because $\lim_{z\rightarrow 0} z \log(z) =0$. Because of the symmetry in $P$ and $Q$ the result also holds for $Q$.