エントロピーは場所と規模にどのように依存しますか？

密度関数連続分布のエントロピーは、期待値の負になるように定義されているため、等しい $f$ $\log(f),$

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

また、分布が密度ランダム変数はエントロピーがあると言います（この積分は、がゼロの場合でも明確に定義され。なぜなら、はそのような値でゼロに等しくなることができるからです。） $X$ $f$ $H_f.$ $f$ $\log(f(x))f(x)$

場合及びランダム変数である（一定である）、のバージョンであると言われているだけシフト 同様に、（は正の定数）の場合、はスケーリングされたバージョンと言われますスケールとシフトを組み合わせると、 $X$ $Y$ $Y = X+\mu$ $\mu$ $Y$ $X$ $\mu.$ $Y = X\sigma$ $\sigma$ $Y$ $X$ $\sigma.$ $Y=X\sigma + \mu.$

これらの関係は頻繁に発生します。たとえば、 $X$ の測定単位を変更すると、がシフトおよびスケーリングされます。

$Y = X\sigma + \mu$ のエントロピーはエントロピーとどのように関連してい $X?$

distributions data-transformation entropy

— ウーバー
ソース

確率要素ので $X$ である $f(x)\mathrm{d}x,$ 変数の変化 $y = x\sigma + \mu$ と等価である $x = (y-\mu)/\sigma,$ そこから

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

したがって、 $Y$ の密度は

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

その結果、 $Y$ のエントロピーは

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

これは、可変バックを変更する際に $x = (y-\mu)/\sigma,$ 生成します

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

これらの計算では、対数の基本特性、積分の線形性、および $f(x)\mathrm{d}x$ が単一性に積分されるという事実全確率の法則）を使用しました。

結論は

エントロピー $Y = X\sigma + \mu$ のエントロピーである $X$ プラス $\log(\sigma).$

変数（スケーリングしながら言葉で、そのエントロピーを変更しない確率変数をシフトする、（我々はなく、これらの値が発生した場合に、確率密度の値に応じて、エントロピーを考えることができる）は、用 $\sigma \ge 1$ "エントロピーを $\log(\sigma).$ 増加させこれは、高エントロピー分布が低エントロピー分布よりも「広がっている」という直感をサポートします。

この結果の結果として、任意の分布のエントロピーを計算するときに、 $\mu$ と $\sigma$ 便利な値を自由に選択できます。たとえば、正規 $(\mu,\sigma)$ 分布のエントロピーは、 $\mu=0$ および $\sigma=1.$ 設定することで見つけることができますこの場合の密度の対数は

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

どこから

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

従って通常のエントロピー $(\mu,\sigma)$ 分布を追加するだけで得られる $\log\sigma$ 与え、この結果に

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

ウィキペディアによって報告されたように。

— ウーバー
ソース