複数の試行で低いエントロピー値を推測する

アリスは分布があるとし（しかし、おそらく非常に大きい）ドメイン、有限の上の（シャノン）エントロピーようμは上部任意の小さな定数とによって制限されますε。アリスはμから値xを引き出し、ボブ（μを知っている）にxを推測するように依頼します。$\mu$$\mu$$\varepsilon$$x$$\mu$$\mu$$x$

ボブの成功確率はどれくらいですか？彼は唯一の推測を許可されている場合、次のように一つは、この確率を下げることができる結合：エントロピ上限を最小エントロピーは、そう少なくとも確率有する要素がある。ボブは彼の推測として、この要素を選択した場合、彼の成功確率は次のようになります2 - ε。$2^{-\varepsilon}$$2^{-\varepsilon}$

ここで、ボブが複数の推測、たとえば推測を行うことが許可されており、推測の1つが正しければボブが勝つと仮定します。ボブの成功確率を向上させる推測スキームはありますか？特に、ボブの失敗確率がtとともに指数関数的に減少することを示すことは可能ですか？$t$$t$

ボブの最善の策は、最大の確率で値を推測することです。$t$

$t$

$$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$$ $n$$t$

$\delta$$-x\log x$$\mu$$a,b,\ldots,b;b,\ldots,b,c$$a\geq b\geq c$$a+(t-1)b = 1-\delta$$c = \delta-\lfloor\frac{\delta}{b}\rfloor b$$t-1+\lfloor\frac{\delta}{b}\rfloor$$b$$s = \lfloor\frac{\delta}{b}\rfloor$$b$$s$

$X$$N$$N+H(X)$$1/2$

これが人々がRenyiエントロピーを調べ続けた理由の一部です。