既知の平均絶対偏差の最大エントロピーを持つ分布はどれですか?


10

平均絶対偏差などの他の指標とは対照的な標準偏差の使用に関するハッカーニュース議論を読んでいました。それで、最大エントロピーの原理に従うとしたら、分布の平均と絶対絶対偏差しかわからない場合、どのような分布を使用するのでしょうか。

それとも、中央値と中央値からの平均絶対偏差を使用する方が理にかなっていますか?

Grechuk、Molyboha、Zabarankinの論文「General Envimation Measures with General Deviation Measures」で最大のエントロピー原理を見つけたのですが、私が知りたい情報があるようですが、それを解読するには少し時間がかかります。


興味深い質問。Cross Validatedへようこそ!
Nick Stauner 2014年

回答:


13

これらの賢明な紳士、 Kotz、S.、Kozubowski、TJ、&Podgorski、K.(2001)。ラプラスの分布と一般化:通信、経済学、工学、金融への応用に関する再考(No. 183)。スプリンガー。

エクササイズで私たちに挑戦してください:

ここに画像の説明を入力してください

証明は、法線が与えられた平均と分散の最大エントロピーであるという情報理論の証明に従うことができます。具体的には、上記のラプラス密度とし、他の密度としますが、平均値と平均絶対偏差は同じです。これは、次の等式が成り立つことを意味します。f(x)g(x)

Eg(|Xc1|)=g(x)|xc1|dx=c2=f(x)|xc1|dx=Ef(|Xc1|)[1]
次に、2つの密度のカルバックライブラーダイバージェンスを考えます。

0DKL(g||f)=g(x)ln(g(x)f(x))dx=g(x)lng(x)dxg(x)lnf(x)dx[2]

最初の積分は(微分)エントロピーの負であり、それをと表します。2番目の積分は(ラプラシアンpdfを明示的に書き込む)gh(g)

g(x)ln[f(x)]dx=g(x)ln[12c2exp{1c2|xc1|}]dx
=ln[12c2]g(x)dx1c2g(x)|xc1|dx
最初の積分は1に積分され、eqも使用します。取得[1]

g(x)ln[f(x)]dx=ln[2c2]1c2f(x)|xc1|dx=(ln[2c2]+1)
しかし、これはラプラシアンの微分エントロピーの負であり、と表します。h(f)

これらの結果を式に挿入します。私たちは 持っていますは任意な ので、これは上記のラプラシアン密度は、上記の処方のすべての分布の中で最大のエントロピーです。[2]

0D(g||f)=h(g)(h(f))h(g)h(f)
g

そのような単純なディストリビューション、そして素晴らしい記事も!私は、分布が0以外で平滑化されるであろう疑わ
ディートリッヒエップ

ありがとう。時々「同じことが同じ」-ラプラス分布には絶対値が含まれるため、これは最も疑わしい疑いでした。
Alecos Papadopoulos 2014
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.