和のエントロピーについて

2つの独立した離散確率変数との合計のエントロピーの限界を探しています。当然のことながら、ただし、の和に適用される独立したベルヌーイ・ランダム変数、これは得られる $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

すなわち、結合はして直線的に成長する

繰り返し適用される場合。ただし、

はサイズ

セットでサポートされるため、エントロピーは最大で

です。実際には、中心極限定理により、私は推測している

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

は基本的に一連のサイズでサポートされているため

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$

。

\sqrt{n}

$\sqrt{n}$

つまり、この状況では境界がかなりオーバーシュートします。このブログ投稿を熟読することで、あらゆる種類の境界が可能になります。ベルヌーイ確率変数の合計に繰り返し適用されたときに正しい漸近（または、少なくとも、より合理的な漸近）を与える境界はありますか？ $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— ロビンソン
ソース

あなたが本当に何を求めているのか分かりません。任意の2つの独立した離散確率変数XおよびYに適用可能なH（X）およびH（Y）に関してH（X + Y）の上限が必要な場合、H（X + Y）≤H（X ）+ H（Y）が明らかに最高です。xがXのサポートを超え、yがYのサポートを超えている場合、合計x + yがすべて異なる場合を考えます。この一般的な境界を非常に特殊なケースに適用すると、緩いバインド。

— 伊藤剛

@TsuyoshiIto -まあ、素晴らしいことだ答えのための一つの可能性のような不平等である

マイナス後の用語は、あなたが記述する場合にはゼロであり、ベルヌーイ確率変数の合計の場合、

でより良いスケーリングを与えるために合計します

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

— ...-ロビンソン

...のような不等式の有無ように私には思える

それを作る少なくとももっともらしいが、私が探しています答えが存在していること。

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

— ロビンソン

つまり、探しているのは、H（X）およびH（Y）に関して H（X + Y）の上限ではないということです。質問を編集してください。

— 伊藤剛

私は、それぞれの分散の場合で考える

と比較して小さい

、あなたの推測が正しい答えである、とベリー・Esseenの定理を使って正確にするために難しいことではありません

Z_{i}

$Z_i$

n

$n$

— Sashoニコロフ

回答:

そのような質問については、「フラットな」ランダム変数を考えることで正しい直感を得ることができます。つまり、はサイズセット上の均一分布、はサイズセット上の均一分布と考えてください。 $X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

だから、あなたが求めている質問ですあなたのサイズについて言うことができるもの（大まかに）と比較してと。一般的に（例えば、彼らはランダムに設定した場合）、その後、実際にあなたが持っているでしょう先の対応する。 $|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

いくつかの特別なケースがあります、最も顕著なのは、とが区間（またはより一般的には算術的進行）である場合です。（少なくとも特定の条件下で、ができる限り小さい場合）という結果がいくつかありますが、これが唯一のケースです。研究、このような質問は「添加剤組合せ論」、およびいくつかの結果として知られていること面積は、そのグループ内の風味を持っているであれば $|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

$A$ $[a..b]$ $B$ $[0..c]$ (in fact, if don't try to take advantage of concentration and shoot for a $(1/2)\log n$ entropy bound, one would have $c=1$ and $a=0$ and $b=k$ for $k=1,...,n-1$ as you apply this repeatedly, however actually this will be more like $a \sim k-\sqrt{k}$ , $b \sim k+ \sqrt{k}$ ). Obviously in this case $|A+B| \leq |A|+c$ , but I'm not sure if there is a more general bound this falls from as a special case.

— Boaz Barak
ソース

I believe this paper by Harremoes proves that if you take a sum of $n$ Bernoulli random variables $Z_1,Z_2,...,Z_n$ , each with parameter $p$ then then entropy of $Z_1+Z_2+...+Z_n$ is less that the entropy of a Poisson distribution with the mean $np$ . From a quick look at Wikipedia, it seems that for large values of $np$ the entropy of a Poisson is $\frac{1}{2}\log n + O(\log n)$ , which is what you expect.

— VSJ
ソース

Maybe you could use the Equation:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

This would look like a term you mentioned in the comments, unfortunately i don't know of results about the cardinality of the negative terms or insightful bounds on them.

— Rick
ソース