微分エントロピーは常に無限未満ですか？

任意の連続確率変数、たとえば場合、微分エントロピーは常に未満ですか？（あれば問題ありません。）そうでない場合、未満になるための必要十分条件は何ですか？ $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
ソース

例を試してみましたか？同様に、長さ区間での均一分布？

L

$L$

— ピョートルミグダル

実際、（任意の有限間隔での）一様分布の微分エントロピーは常に有限、つまりlog（L）であり、したがって境界があります。実際、エントロピーが常に制限される連続分布の2つのクラスを特定できました。（1）サポートが有限区間に含まれる分布、および（2）2次モーメントが有限である分布。前者は一様分布に制限されています。後者はガウス分布によって制限されます。

— syeh_106

実際、無限の2次モーメントを持つ分布を構築することもできますが、それでも有限のエントロピーがあります。たとえば、f（x）= 3 /（x ^ 2）、x> 3を考えます。明らかにE [X ^ 2]は無限ですが、h（X）〜= -3.1 natsです。ただし、これが任意の連続確率変数に当てはまるかどうかを確認することも、反論する反例も考え出すことはできませんでした。誰かがこれを見せてくれれば本当にありがたいです。

— syeh_106

コメントとリンク、Piotrをありがとう。ちなみに、コース教材の1つもチェックし、無限にサポート可能な離散ランダム変数のまったく同じ例を見つけました。これに動機付けられて、連続アナログを構築することは難しくありません。したがって、最初の質問に対する答えは明らかです。同じ質問があるかもしれない他の人々のためにそれを以下に要約します。ところで、私は上記の2番目のコメントを修正する必要があります。具体的には、f（x）= 3 /（x ^ 2）の場合、h（X）は正、つまり3.1 natsでなければなりません。

— syeh_106

この質問と回答は、境界がどのセットに適用されるかについて述べていないため、あいまいです。がRVである場合、エントロピー周期があります。「任意の」連続RVの場合、（明らかに）上限はありません。どのような制約を課そうとしていますか？コメントとあなたの答えから、のサポートを修正したいかもしれませんが、そうでないかもしれません。おそらく、を特定の瞬間に特定の境界を持つ変数に制限したいですか？おそらく、をパラメトリックファミリにしたいのでしょうか？この質問を編集して明確にしてください。

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

上記のPiotrのコメントのおかげで、この質問についてさらに考え、反例を見つけることができました。最初の質問への答えはノーです。連続ランダム変数（RV）の微分エントロピーは常に未満ではありません。たとえば、pdfがある連続RV Xを考え $\infty$ のため。

f （ バツ ） = \frac{ログ （ 2 ）}{バツ ログ （ バツ ）^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

微分エントロピーが無限であることを確認するのは難しくありません。ただし、成長は非常にゆっくりです（対数的に）。

2番目の質問については、単純な必要十分条件については知りません。ただし、1つの部分的な答えは次のとおりです。サポートに基づいて、連続RVを次の3つのタイプのいずれかに分類します。

タイプ1：サポートが制限されている、つまり[a、b]に含まれる連続RV。
その支持半有界である、すなわち、中に含まれる連続RV [：2を入力）または（、A] タイプ3：その支持無制限である連続RV。 $\infty$ $-\infty$

次に、次のものがあります-

タイプ1 RVの場合、エントロピーは常に無条件に未満です。タイプ2 RVの場合、平均（）が有限であれば、エントロピーは未満です。タイプ3のRVのために、そのエントロピー未満であるその分散が（場合、）は有限です。 $\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

タイプ2または3 RVの場合、上記の条件は十分な条件にすぎないことに注意してください。たとえば、タイプ2 RVを考えます

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
ソース

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

SEポリシーに関するアドバイスをありがとう、Piotr。（ええ、私はここで明らかに新しいです。）有界エントロピーにつながる有限の瞬間について、その証拠を共有しますか？ありがとう！

— syeh_106

@PiotrMigdal最後の仕上げを追加した後、この質問に対する答えを現在の状態のままにする予定です。上記のPiotrのコメントに動機付けられ、有限平均が有限エントロピーにつながるかどうかを検討しました。一般的にこれを結論付けることはできませんでした。私が見つけたのは、RVのサポートが半分に制限されている場合は真実だったということです。上記の修正された回答をご覧ください。いつか誰かからのより良い答えを楽しみにしています。

— syeh_106

「微分エントロピーが無限であることを確認するのは難しくありません。」これを確認する方法を教えてもらえますか？リーマン積分には当てはまるようですが、微分エントロピーはルベーグ測度に関するものです。対応するルベーグ積分が収束しないことを確認できません。

— カンターヘッド

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$