なぜKLの発散が負でないのですか？

なぜKLの発散は非負ですか？

情報理論の観点から、私はそのような直感的な理解を持っています：

ラベル付けされた同じ要素セットで構成される2つの集団とあるとします。およびは、それぞれ集団および異なる確率分布です。 $A$ $B$ $x$ $p(x)$ $q(x)$ $A$ $B$

情報理論の観点から、は、アンサンブル要素を記録するために必要なビットの最小量です。その結果、期待 $\log_{2}(P(x))$ $x$ $A$ 我々は要素記録する必要があることをどのように多くのビットを少なくともとして解釈することができる平均。

\sum_{x \in e n s e m b l e} - p (x) \ln (p (x))

$\sum_{x \in ensemble}-p(x)\ln(p(x))$

A

$A$

この式は平均的に必要なビットに下限を設定するため、異なる確率分布をもたらす異なるアンサンブルに対して、各要素与える境界は確実にビット化されません与えられる、その期待値をとる手段、 $B$ $q(x)$ $x$ $p(x)$

\sum_{x \in e n s e m b l e} - p (x) \ln (q (x))

$\sum_{x\in ensemble}-p(x)\ln(q(x))$ この平均長さが確実に前者につながるよりも大きくなる

と

が異なるため、ここには

入れません。

\sum_{x \in e n s e m b l e} p (x) \frac{\ln (p (x))}{\ln (q (x))} > 0

$\sum_{x\in ensemble }p(x)\frac{\ln(p(x))}{\ln(q(x))} > 0$

\geq

$\ge$

p (x)

$p(x)$

q (x)

$q(x)$

これは私の直感的な理解ですが、KLの発散が非負であることを証明する純粋に数学的な方法はありますか？問題は次のように説明できます。

所与及び実際のライン上の両方陽性であり、、。証明 $p(x)$ $q(x)$ $\int_{-\infty}^{+\infty}p(x)dx = 1$ $\int_{-\infty}^{+\infty}q(x)dx = 1$

\int_{- \infty}^{+ \infty} p (x) \ln \frac{p (x)}{q (x)}

$\int_{-\infty}^{+\infty}p(x)\ln\frac{p(x)}{q(x)}$

これはどのように証明できますか？または、これは追加の条件なしで証明できますか？

information-theory kullback-leibler

— meTchaikovsky
ソース

Fanoの不等式の証拠を理解すれば、相対エントロピーの非負性を導き出すのは簡単です。

— ラーナーチャン

証明1：

$\ln a \leq a-1$ $a \gt 0$

$-D_{KL}(p||q) \leq 0$ $D_{KL}(p||q) \geq 0$

\begin{aligned} - D （ p | | q ） & = - \sum_{バツ} p （ バツ ） \ln \frac{p （ バツ ）}{q （ バツ ）} \\ = \sum_{バツ} p （ バツ ） \ln \frac{q （ バツ ）}{p （ バツ ）} \\ \overset{（a）}{\leq} \sum_{バツ} p （ バツ ） （ \frac{q （ バツ ）}{p （ バツ ）} - 1 ） \\ = \sum_{バツ} q （ バツ ） - \sum_{バツ} p （ バツ ） \\ = 1 - 1 \\ = 0 \end{aligned}

$\begin{align} -D(p||q)&=-\sum_x p(x)\ln \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\ln \frac{q(x)}{p(x)}\\ &\stackrel{\text{(a)}}{\leq} \sum_x p(x)\left(\frac{q(x)}{p(x)}-1\right)\\ &=\sum_x q(x) - \sum_x p(x)\\ &= 1 - 1\\ &= 0 \end{align}$

$\ln$

- \sum_{バツ} p （ バツ ） {ログ}_{2} p （ バツ ） \leq - \sum_{バツ} p （ バツ ） {ログ}_{2} q （ バツ ）

$-\sum_x p(x) \log_2 p(x) \leq -\sum_x p(x)\log_2 q(x)$

そして、左の項を右に持ってくると、

\sum_{バツ} p （ バツ ） {ログ}_{2} p （ バツ ） - \sum_{バツ} p （ バツ ） {ログ}_{2} q （ バツ ） \geq 0 \sum_{バツ} p （ バツ ） {ログ}_{2} \frac{p （ バツ ）}{q （ バツ ）} \geq 0

$\sum_x p(x) \log_2 p(x) - \sum_x p(x)\log_2 q(x)\geq 0 \\ \sum_x p(x)\log_2 \frac{p(x)}{q(x)}\geq 0$

これを別の証明として含めない理由は、ギブスの不等式を証明するように頼まれた場合、KLの発散の非負性から始めて、上から同じ証明を行う必要があるためです。

証明2：Log sum不等式を使用します：

\sum_{i = 1}^{n} a_{i} \log_{2} \frac{a_{i}}{b_{i}} \geq (\sum_{i = 1}^{n} a_{i}) \log_{2} \frac{\sum_{i = 1}^{n} a_{i}}{\sum_{i = 1}^{n} b_{i}}

$\sum_{i=1}^{n} a_i \log_2 \frac{a_i}{b_i} \geq \left(\sum_{i=1}^{n} a_i\right)\log_2\frac{\sum_{i=1}^{n} a_i}{\sum_{i=1}^{n} b_i}$

Then we can show that $D_{KL}(p||q) \geq 0$ :

\begin{aligned} D (p | | q) & = \sum_{x} p (x) \log_{2} \frac{p (x)}{q (x)} \\ \overset{(b)}{\geq} (\sum_{x} p (x)) \log_{2} \frac{\sum_{x} p (x)}{\sum_{x} q (x)} \\ = 1 \cdot \log_{2} \frac{1}{1} \\ = 0 \end{aligned}

$\begin{align} D(p||q)&=\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &\stackrel{\text{(b)}}{\geq} \left(\sum_x p(x)\right)\log_2\frac{\sum_x p(x)}{\sum_x q(x)}\\ &=1 \cdot \log_2 \frac{1}{1}\\ &=0 \end{align}$

where we have used the Log sum inequality at (b).

Proof 3:

(Taken from the book "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas)

\begin{aligned} - D (p | | q) & = - \sum_{x} p (x) \log_{2} \frac{p (x)}{q (x)} \\ = \sum_{x} p (x) \log_{2} \frac{q (x)}{p (x)} \\ \overset{(c)}{\leq} \log_{2} \sum_{x} p (x) \frac{q (x)}{p (x)} \\ = \log_{2} 1 \\ = 0 \end{aligned}

$\begin{align} -D(p||q)&=-\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\log_2 \frac{q(x)}{p(x)}\\ &\stackrel{\text{(c)}}{\leq} \log_2 \sum_x p(x)\frac{q(x)}{p(x)}\\ &=\log_2 1\\ &=0 \end{align}$

where at (c) we have used Jensen's inequality and the fact that $\log$ is a concave function.

— Andreas G.
ソース