ノイズの多い分布のエントロピー

関数があり、 及び分布、すなわち、ある。$f:\mathbb{Z}_2^n \to \mathbb{R}$FΣX∈Z N 2 F（X）=

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ $f$$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

のシャノンエントロピーは次のように定義されます： H （F ）= - Σ X ∈ Z N 2 F （X ）ログ（F （X ））$f$

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

してみましょういくつかの一定です。我々が得る言うの-noisyバージョン、すなわち、我々は関数を取得、 なるようすべてのための。エントロピーに対するノイズの影響は何ですか？つまり、ような と「合理的な」関数によってをバインドでき または いくつかの定数。ε F （X ）〜F：Z N 2 → R | 〜F（X ）- F （X ）| < ε X ∈ Z N 2 H （〜F）ε H （F ）（1 - ε ）H （F ）< H （〜F）< （$\epsilon$$\epsilon$$f(x)$$\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$$|\tilde{f}(x)- f(x) | < \epsilon$$x\in \mathbb{Z}_2^n$$H(\tilde{f})$$\epsilon$$H(f)$

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ C 、 $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ $c,d$

編集：シャノンのエントロピーに対するノイズの影響を感じ取ろうとすると、バインドされた「合理的な」加算も非常に興味深いでしょう。$H(\tilde{f})$

そのような限界はあり得ない。ケース考えるいくつかのセットにわたって均一である分布でサイズの、およびlet確率を有することが分布することがの均一に分布素子出力、それ以外の場合、均一に分散された文字列を出力します。$f$$S$$2^{\delta \cdot n}$$\tilde{f}$$\delta$$S$

からまで取得でき、最大でノイズしか必要ないことを理解するのは難しくありません。ただし、 whileです。したがって、ノイズが非常に小さい、任意に小さいに対して差が得られます。$f$$\tilde{f}$$(1-\delta) \cdot 2^{-\delta \cdot n}$$H(f)= \delta \cdot n$$H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$$(1 - \delta)^2 \cdot n$$\delta$

特に、、ノイズとエントロピーの差を取得できます。 ε≈N-2ログ（1/ε$\delta = \frac{\log(1/\varepsilon)}{n}$$\varepsilon$$\approx n - 2\log(1/\varepsilon)$