微分エントロピー

ガウスRVの差動エントロピーがある$\log_2(\sigma \sqrt{2\pi e})$。これは、標準偏差である$\sigma$に依存します。

ランダム変数を正規化して単位分散を持たせると、差分エントロピーが低下します。コルモゴロフの正規化定数の複雑さはエントロピーの減少と比較して非常に小さいはずなので、私にとってこれは直感に反します。このランダム変数によって生成されたデータセットを復元するために、正規化定数で除算/倍数するエンコーダーデコーダーを簡単に考案できます。

おそらく私の理解は外れています。私の欠陥を指摘してもらえますか？

私はこれを試してみるつもりですが、それは私の頭の上に少しありますので、塩を振りかけて扱います...

あなたは正確に間違っていません。あなたの思考実験が失敗するのは、微分エントロピーがエントロピーの限定的なケースではないと思うからです。このため、それとコルモゴロフの複雑さの類似点は失われていると思います。

離散確率変数があるとしましょう。シャノンエントロピーは、可能なすべての値x i、 H （X ）= − ∑ i P （X = x i）log （ P （X = x i））を合計することにより、次のように計算できます$X$$x_i$

$$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$$

$X$$p()$

$$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$$ $\delta x$$x_i$ $$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$$

$\delta x \rightarrow dx$

$$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$$

右側の用語は微分エントロピーです。しかし、その恐ろしい見てください$\log \big( dx \big)$用語を見てください。すべての答えがNaNになるのを避けるために、これを無視する必要があります。微分エントロピーがシャノンエントロピーの限定的なケースではないことを意味しているのではないかと思います。

$\sigma$

$\delta$

$$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$$ $q(X)$$X$$p(X)$ そして $q(X)$、結果はそれほど深刻ではありません。