これらの賢明な紳士、
Kotz、S.、Kozubowski、TJ、&Podgorski、K.(2001)。ラプラスの分布と一般化:通信、経済学、工学、金融への応用に関する再考(No. 183)。スプリンガー。
エクササイズで私たちに挑戦してください:
証明は、法線が与えられた平均と分散の最大エントロピーであるという情報理論の証明に従うことができます。具体的には、上記のラプラス密度とし、他の密度としますが、平均値と平均絶対偏差は同じです。これは、次の等式が成り立つことを意味します。f(x)g(x)
Eg(|X−c1|)=∫g(x)|x−c1|dx=c2=∫f(x)|x−c1|dx=Ef(|X−c1|)[1]
次に、2つの密度の
カルバックライブラーダイバージェンスを考えます。
0≤DKL(g||f)=∫g(x)ln(g(x)f(x))dx=∫g(x)lng(x)dx−∫g(x)lnf(x)dx[2]
最初の積分は(微分)エントロピーの負であり、それをと表します。2番目の積分は(ラプラシアンpdfを明示的に書き込む)g−h(g)
∫g(x)ln[f(x)]dx=∫g(x)ln[12c2exp{−1c2|x−c1|}]dx
=ln[12c2]∫g(x)dx−1c2∫g(x)|x−c1|dx
最初の積分は1に積分され、eqも使用します。取得
[1]
∫g(x)ln[f(x)]dx=−ln[2c2]−1c2∫f(x)|x−c1|dx=−(ln[2c2]+1)
しかし、これはラプラシアンの微分エントロピーの負であり、と表します。
−h(f)
これらの結果を式に挿入します。私たちは
持っていますは任意な
ので、これは上記のラプラシアン密度は、上記の処方のすべての分布の中で最大のエントロピーです。[2]
0≤D(g||f)=−h(g)−(−h(f))⇒h(g)≤h(f)
g