N未満のランダムビットで2 ^ Nの1の確率をシミュレートする

次の離散分布をシミュレートする必要があるとします。

P (X = k) = {\begin{cases} \frac{1}{2^{N}}, & if k = 1 \\ 1 - \frac{1}{2^{N}}, & if k = 0 \end{cases}

$P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases}$

最も明白な方法は、 $N$ ランダムビットを描画し、それらすべてが $0$ （または $1$ ）に等しいかどうかをチェックすることです。しかし、情報理論は言う

\begin{aligned} S & = - \sum_{i} P_{i} \log P_{i} \\ = - \frac{1}{2^{N}} \log \frac{1}{2^{N}} - (1 - \frac{1}{2^{N}}) \log (1 - \frac{1}{2^{N}}) \\ = \frac{1}{2^{N}} \log 2^{N} + (1 - \frac{1}{2^{N}}) \log \frac{2^{N}}{2^{N} - 1} \\ \to 0 \end{aligned}

$\begin{align} S & = - \sum_{i} P_i \log{P_i} \\ & = - \frac{1}{2^N} \log{\frac{1}{2^N}} - \left(1 - \frac{1}{2^N}\right) \log{\left(1 - \frac{1}{2^N}\right)} \\ & = \frac{1}{2^N} \log{2^N} + \left(1 - \frac{1}{2^N}\right) \log{\frac{2^N}{2^N - 1}} \\ & \rightarrow 0 \end{align}$

したがって、必要なランダムビットの最小数は、が大きくなるにつれて実際に減少します。これはどのように可能ですか？ $N$

ビットがランダム性の唯一のソースであるコンピューターで実行していると仮定してください。そのため、偏ったコインを投げるだけではいけません。

— ナルゾク
ソース

より深く掘り下げるためのキーワードを探している場合、これはコーディング理論とコルモゴロフの複雑さに密接に関連しています。DWが以下で言及している同じビットの繰り返し実行をカウントする手法がたくさん登場します。たとえば、これらの講義ノートでは、people.cs.uchicago.edu /〜fortnow / papers / kaikoura.pdf

— Brian Gordon

回答:

素晴らしい質問です解像度を説明してみましょう。3つの異なるステップが必要です。

最初に注意することは、エントロピーが、必要な最大ビット数ではなく、描画ごとに必要な平均ビット数に重点を置いていることです。

あなたのサンプリング手順を用いて、延伸当たりに必要なランダムビットの最大数である $N$ ビットが、必要とされるビットの平均数は、（幾何学的分布の平均2ビットの $p=1/2$ ） - Aがあるからです $1/2$ だけ1ビット（最初のビットが1であることが判明した場合）、必要確率 $1/4$ （最初の2ビットが01であることが判明する場合）は、2ビットのみを必要とする確率を $1/8$ 必要な確率は3ビットのみです（最初の3ビットが001であることが判明した場合）。

2つ目の注意点は、エントロピーが実際に1回の描画に必要な平均ビット数をキャプチャしないことです。代わりに、エントロピーは、この分布から iid描画をサンプリングするために必要な償却ビット数をキャプチャします。ドローをサンプリングするためにビットが必要だとします。エントロピーは、としてのの極限です。 $m$ $f(m)$ $m$ $f(m)/m$ $m \to \infty$

3番目に注意する点は、この分布を使用すると、1回の描画を繰り返しサンプリングするのに必要なビット数より少ないビットで、 $m$ iid描画をサンプリングできることです。これを $m$ 回繰り返すまで、1つのサンプルを描画し（平均でランダムな2ビットを取る）、別のサンプルを描画する（平均でさらに2つのランダムビットを使用する）といったように単純に決定したとします。それには、平均で約 $2m$ ランダムビットが必要です。

しかし、ビット未満を使用して $m$ 描画からサンプリングする方法があることがわかりました。信じがたいですが、本当です！ $2m$

直感を聞かせてください。 $m$ ドローのサンプリング結果を書き留めたとします $m$ は本当に大きいです。次に、結果を $m$ ビット文字列として指定できます。この $m$ ビットの文字列はほとんどが0で、数個の1が含まれます。特に、平均して約 $m/2^N$ 1になります（それよりも大きい場合も小さい場合もありますが、 $m$ が十分に大きい場合、通常は数それに近くなります）。1の間のギャップの長さはランダムですが、通常は近くの漠然とした場所になります。 $2^N$ （簡単にその半分または2倍、またはそれ以上になりますが、その程度です）。もちろん、 $m$ ビット文字列全体を書き留める代わりに、ギャップの長さのリストを書き留めることで、より簡潔に書き留めることができます。これは、同じ情報をより圧縮された形式で保持します。もっと簡潔に？まあ、通常、各ギャップの長さを表すには約 $N$ ビットが必要です。約 $m/2^N$ ギャップがあります。したがって、合計で約 $mN/2^N$ ビットが必要になります（もう少し大きくても少し小さくてもかまいませんが、 $m$ が十分に大きければ、通常はそれに近い値になります）。それはずっと短いです $m$ 文字列。

そして、文字列をこれほど簡潔に書き留める方法があれば、それが文字列の長さに匹敵するランダムなビット数で文字列を生成する方法があることを意味するのであれば、おそらく驚くことではないでしょう。特に、各ギャップの長さをランダムに生成します。これは、と幾何分布からのサンプリングされた $p=1/2^N$ 、それはおおよそで行うことができる $\sim N$ 平均ランダムビット（しない $2^N$ ）。あなたは必要があります $m/2^N$ あなたはおおよそ合計で必要になりますので、IIDは、この幾何分布から描く $\sim Nm/2^N$ ランダムビット。（これは、小さい定数ファクターより大きい可能性がありますが、大きすぎることはありません。）そして、これは $2m$ ビットよりはるかに小さいことに注意してください。

そこで、我々は、サンプリングすることができます $m$ IIDだけ使用して、お使いのディストリビューションから引く $f(m) \sim Nm/2^N$ ランダムビットを（おおよそ）。エントロピーであることを想起 $\lim_{m \to \infty} f(m)/m$ 。したがって、これは、エントロピーが（おおよそ） $N/2^N$ になることを期待する必要があることを意味します。上記の計算はおおざっぱで粗雑なため、これは少しずれていますが、エントロピーがそれである理由と、すべてが一貫性があり合理的である理由について直感を与えてくれることを願っています。

— DW
ソース

うわー、素晴らしい答えです！しかし、

幾何分布からサンプリングする理由について詳しく説明してください

は平均して

ビットかかりますか？私は、このような確率変数は、平均だろう知っている

、それが平均を取るので、

ストアにビットが、私は、これはあなたが1を生成することができますという意味ではありませんと仮定し

ビット。

p = \frac{1}{2^{N}}

$p=\frac{1}{2^N}$

N

$N$

2^{N}

$2^N$

N

$N$

N

$N$

— nalzok

@nalzok、公正な質問！おそらく別の質問として質問してもらえますか？方法はわかりますが、今すぐ入力するのは少し面倒です。あなたが尋ねると、おそらく誰かが私よりも早く答えることができるでしょう。私が考えているアプローチは、算術コーディングに似ています。定義

（ここで、

幾何学的なRVである）、次に乱数生成

間隔でを

、そして見つける

なるように

q_{i} = Pr [X \leq i]

$q_i = \Pr[X\le i]$

X

$X$

r

$r$

[0, 1)

$[0,1)$

i

$i$

q_{i} \leq r < q_{i + 1}

$q_i \le r < q_{i+1}$

r

$r$

N + O (1)

$N+O(1)$

r

$r$

i

$i$

つまり、基本的に逆CDFメソッドを使用して、均一に分布したランダム変数を任意の分布に変換し、バイナリ検索に似たアイデアを組み合わせていますか？幾何分布の変位値関数を分析する必要がありますが、このヒントで十分です。ありがとう！

— nalzok

@nalzok、ああ、はい、それはそれについて考えるより良い方法です-素敵です。それを提案していただきありがとうございます。うん、それは私が念頭に置いていたものです。

— DW

あなたはこれを逆に考えることができます：生成の代わりにバイナリエンコーディングの問題を考えてください。シンボルを出力するソースがあると仮定します $X\in \{A,B\}$ と $p(A)=2^{-N}$ 、 $p(B)=1-2^{-N}$ 。たとえば、 $N=3$ 、我々が得る $H(X)\approx 0.54356$ . So (Shannon tells us) there is an uniquely decodable binary encoding $X \to Y$ , where $Y \in \{0,1\}$ (data bits), such that we need, on average, about $0.54356$ data bits for each original symbol $X$ .

(In case you are wondering how such encoding can exists, given that we have only two source symbols, and it seems that we cannot do better that the trivial encoding , $A\to 0$ , $B\to 1$ , with one bit per symbol, you need to understand that to approximate the Shannon bound we need to take "extensions" of the source, that is, to code sequences of inputs as a whole. See in particular arithmetic encoding).

Once the above is clear, if we assume we have an invertible mapping $X^n \to Y^n$ , and noticing that, in the Shannon limit $Y^n$ must have maximum entropy (1 bit of information per bit of data), i.e., $Y^n$ has the statistics of a fair coin, then we have a generation scheme at hand: draw $n$ random bits (here $n$ has no relation with $N$ ) with a fair coin, interpret it as the output $Y^n$ of the encoder, and decode $X^n$ from it. In this way, $X^n$ will have the desired probability distribution, and we need (in average) $H(X)<1$ coins to generate each value of $X$ .

— leonbloy
ソース