Kullback-Leibler（KL）発散の最大値は何ですか

私は私のpythonコードでKL発散を使用するつもりで、このチュートリアルを手に入れました。

そのチュートリアルでは、KLの発散を実装するのは非常に簡単です。

kl = (model * np.log(model/actual)).sum()

私が理解したように、確率分布modelとは、actual<= 1でなければなりません。

私の質問は、kの最大限界/最大可能値は何ですか？私のコードの上限については、kl距離の可能な最大値を知る必要があります。

または、同じサポートでも、あるディストリビューションが他のディストリビューションよりもはるかに太いテールを持つ場合。取る とき then および ような制限されたままで他の距離が存在しますP （X ）= コーシー密度⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ KL（P||Q）=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• 全変動の距離に相当する距離、$L¹$
• ワッサーシュタイン距離
• ヘリンジャー距離

同じサポートを持たないディストリビューションの場合、KLの発散は制限されません。定義を見てください：

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

PとQが同じサポートを持たない場合、およびである点が存在し、KLが無限大になります。これは、離散分布にも当てはまります。 p （x ′）≠ 0 q （x ′）= $x'$$p(x') \neq 0$$q(x') = 0$

編集：たぶん、確率分布間の発散を測定するためのより良い選択は、いわゆるWasserstein距離でしょう。これは、メトリックであり、KL発散よりも優れた特性を持っています。ディープラーニングへの応用により非常に人気があります（WGANネットワークを参照）

CarlosとXi'anによる優れた答えに追加するために、KL発散が有限になるための十分な条件は、両方のランダム変数が同じコンパクトなサポートを持ち、参照密度が制限されることであることに注意することも興味深い。この結果は、KL発散の最大値の暗黙的な境界も確立します（以下の定理と証明を参照）。

---

定理：密度$p$と$q$が同じコンパクトなサポート$\mathscr{X}$持ち、密度$p$がそのサポートに制限されている（つまり、有限の上限がある）場合、$KL(P||Q) < \infty$。

証明：$q$はコンパクトなサポート持っているので$\mathscr{X}$、これはいくつかの正の無限値があることを意味します。

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

同様に、$p$はコンパクトなサポート持っているため、これはいくつかの正の上限値があることを意味します。$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

今、せる後者の上限であることを、我々は明らかに持っていようそれ：0⩽ L _ <$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

これにより、必要な上限が確立され、定理が証明されます。 $\blacksquare$