微分エントロピーの解釈方法は？

最近、離散確率分布のエントロピーに関するこの記事を読みました。使用する単語の確率分布を考慮して、エンコードが最適な場合にメッセージをエンコードするのに必要な予想ビット数（少なくともエントロピー定義でを使用する場合）としてエントロピーについての素晴らしい考え方を説明します。$\log_2$

以下のような連続した場合に拡張するときしかし、ここで私は以来、ダウン休憩をこの考え方を信じるのために任意の連続確率分布P （X ）私がいた（それが間違っている場合は、私を修正してください）、ので、離散的な場合のように、連続エントロピーの意味について良い考えがあるかどうか疑問に思います。$\sum_x p(x) = \infty$$p(x)$

エントロピーの意味と同じくらい意味のある、または有用な微分エントロピーの解釈はありません。連続確率変数の問題は、それらの値の確率が通常0であるため、エンコードに無限のビット数が必要になることです。

あなたは間隔の確率を測定することにより、個別のエントロピーの上限を見れば$[n\varepsilon, (n + 1)\varepsilon[$、あなたが終わります

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

微分エントロピーではありません。この量はある意味ではより意味がありますが、間隔が小さくなるにつれて無限に発散します。ランダム値の値が多くの間隔のどれに該当するかをエンコードするためにより多くのビットが必要になるので、それは理にかなっています。

連続分布を調べるためのより有用な量は、相対エントロピー（Kullback-Leibler発散）です。離散分布の場合：

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

これは、真の分布がある場合、余分なビット数が使用される計測$P$、我々は使用$-\log Q_2(x)$エンコードビットを$x$。相対エントロピーの限界を取り、

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

$\log_2 \varepsilon$キャンセルされます。連続分布の場合、これは無限小のビンの制限で使用される追加ビットの数に対応します。連続分布と離散分布の両方で、これは常に負ではありません。

$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ エンコードするビット $n$の代わりに-番目の間隔 $-\log \varepsilon$ビット。前者が最適であっても、この差はマイナスになる可能性があります。$\lambda$ （1に統合しないことにより）不正行為であるため、理論上可能な平均よりも少ないビットを割り当てる可能性があります。

相対エントロピーの優れた紹介については、Sergio Verduの講演をご覧ください。