連続分布のエントロピーの解釈？

「エントロピー」は、確率分布の「情報」の程度を大まかに捉えたものです。

離散分布の場合、より正確な解釈があります。離散確率変数のエントロピーは、確率変数の結果を転送するために必要な予想ビット数の下限です。

しかし、連続確率変数の場合、結果の数は無数にあります。そのため、ビットの有限文字列で発生した正確な結果を転送し始めることさえできません。

連続変数のエントロピーの同等の解釈は何ですか？

離散点の密度を制限するため、の解釈

$$S = -\sum_x p(x)\ln p(x)$$ に一般化することはできません $$S= -\int dx (p(x)\ln p(x))$$

直接一般化は

$$S= -\int dx p(x)\ln (p(x)dx) = -\int dx p(x)\ln (p(x)) -\int dx p(x)\ln (dx)$$ 明らかに $\ln dx$ 爆発する。

直感的に、 $p(x)dx = 0$そのため、発生する可能性が高いものをエンコードするために使用するビット数を少なくする理由は成り立ちません。したがって、解釈する別の方法を見つける必要があります$S= -\int dx p(x)\ln (p(x)dx)$、そして選択は $KL$ 発散。

均一な分布があるとしましょう $q(x)$ 同じ状態空間では、

$$KL(p(x)\Vert q(x)) = \int dx p(x) \ln (\frac{p(x)dx}{q(x)dx})$$ 以来、、我々は効果の形保つように、単に一定である、同時に構築物で明確に定義された量連続分布。$q(x)$$S= -\int dx (p(x)\ln (p(x)dx))$$p(x)$

したがって、ダイバージェンスから、連続分布のエントロピーは次のように解釈できます。$KL$$p(x)$

エンコードに均一分布を使用する場合、平均で不要なビット数。$p(x)$

確率密度によって問題を離散化します。連続確率変数は密度を持ち、これは局所的におそらくに近似し。これは離散ケースの類似物です。 。そして、微積分理論により、あなたの合計はあなたの状態空間上の積分になります。$f(x)$$P(X\in [x,x+\delta x]) \approx f(x)\delta x$