偏りのあるダイで公平なダイをシミュレートする

バイアスされた$N$ダイを考えると、範囲乱数をどのよう$[1,N]$に均一に生成できますか？ダイス面の確率分布は不明です。既知のことは、各面がゼロ以外の確率を持ち、すべてのスローで確率分布が同じであることだけです（特に、スローは独立しています）。これは、不公平なダイによる公正な結果の明白な一般化です。

これをコンピューターサイエンスの用語で言えば、p i = P （D （k ）= i ）が非ゼロでkに依存しないようなダイスロールを表すオラクルがあります。私たちは、決定論的アルゴリズムを探しているAによってパラメータ化されたD（すなわちAがへの呼び出しを行うことがDを）そのようなものがあることP （Aは、（）= Iを）= 1 $D : \mathbb{N} \to [1,N]$$p_i = P(D(k)=i)$$k$$A$$D$$A$$D$$P(A()=i) = 1/N$。アルゴリズムは確率1で終了する必要があります。つまり、$A$が Dを回以上$n$呼び出す確率は、 n → ∞として 0に収束する必要があります。$D$$0$$n\to\infty$

以下のために$N=2$（硬貨から公正なコインがコインバイアスと反転シミュレート）、周知のアルゴリズムが存在します。

• 2回のスローが異なる結果（（頭、尾）または（尾、頭））になるまで、「2回反転」を繰り返します。すなわち、ループのために$k = 0..\infty$まで、$D(2k+1) \ne D(2k)$
• フリップの最後のペアが（heads、tails）の場合は0を返し、それが（tails、heads）の場合は1を返します。つまり、返します。$D(2k)$ここで、$k$はループが終了したインデックスです。

偏りのあるダイから偏りのないダイを作成する簡単な方法は、コインフリップの偏りのない方法を使用して公平なコインを作成し、シーケンスの偏りのないように、リジェクションサンプリングで公平なダイを作成します。しかし、これは最適です（確率分布の一般的な値に対して）？

具体的には、私の質問は次のとおりです。オラクルへの呼び出しの最小予想数を必要とするアルゴリズムは何ですか？到達可能な期待値のセットが開いている場合、下限とは何か、この下限に向かって収束するアルゴリズムのクラスは何ですか？

場合にはアルゴリズムの異なるファミリーは、異なる確率分布に最適な、ほとんど-公正サイコロ上のletの焦点である：私は、アルゴリズムやアルゴリズムの家族のようディストリビューションのための最適なものを探しています$\forall i, \bigl|p_i - 1/N\bigr| \lt \epsilon$いくつかのための$\epsilon \gt 0$。

次の論文は、この質問の密接な変種に答えています：不偏ランダムシーケンスの効率的な構築、エリアス1972。

質問はこれのようです：このバイアスされた独立ソースへのアクセスを与えられ、に乱数のシーケンスを出力します（1つの出力シンボルのみが要求される質問との違いに注意してください）。目的の出力の長さが無限になると、論文のスキームの効率（von Neumannの自然な一般化のように見える）はになります。つまり、エントロピー入力は次のように変換されます。近づくエントロピーの出力。1 時間の$[1,N]$$1$$h$$h$

たとえば、サンプルを描画し、多くの情報を含む出力になる場合（たとえば、入力シンボルはすべて区別されるため）、単一の出力桁を要求するよりも、この方法で表現すると質問の動作がはるかに良くなります、その情報のすべてを使用して多くの出力シンボルを生成できますが、ここで述べた質問では、1つの出力シンボルの生成に使用された情報を超える情報はすべて無駄になります。$N$$N$

このスキームでは、回の描画を繰り返し、シーケンスを確認し、出力または空の文字列をマッピングすると考えています。おそらく、接頭辞を見て、シンボルを出力するための「十分な」情報がある場合は停止することで、質問のスキームを改善する方法がありますか？知りません。$N$

一般的な方法を説明します。すべての順列は、バイアスがダイでも同じようになります（ロールが独立しているため）。したがって、最後のロールが並べ替えられ、最後のロールが出力されるまで、ローリングを続けることができます。[ 1 .. N ] $N=2$$[1..N]$$N$

一般的な分析には注意が必要です。ただし、所定のステップで順列が発生する可能性は小さいため（また、前後のステップに依存しないため、トリッキーです）、で予想されるロール数が急速に増加することは明らかです。それはあるより大きい固定するための手順はほぼ確実に終了するように、しかし、（すなわち、確率）。0 N $N$$0$$N$$1$

固定場合、合計がなるパリフベクトルのセットでマルコフ連鎖を構築し、最後のロールの結果を要約し、達するまでの予想ステップ数を決定できます初めて。これは、パリフベクトルを共有するすべての順列が等しく発生する可能性があるためです。チェーンと計算はこのように簡単です。≤ N N （1 、... 、1 ）$N$$\leq N$$N$$(1,\dots,1)$

我々は状態にあると仮定しで。次に、要素（つまり、次のロールが）を獲得する確率は常に$v=(v_1,\dots,v_N)$$\sum_{i=1}^n v_i \leq N$$i$$i$

$\qquad\displaystyle \operatorname{Pr}[\text{gain } i] = p_i$。

一方、履歴から要素を削除する可能性は、$i$

$\qquad\displaystyle \operatorname{Pr}_v[\text{drop } i] = \frac{v_i}{N}$

いつでも（およびそれ以外）パリークベクトルを持つすべての順列こそ等しく可能性があります。これらの確率は独立しているため（ロールが独立しているため）、遷移確率を次のように計算できます。$\sum_{i=1}^n v_i = N$$0$$v$

$\qquad\begin{align*} &\operatorname{Pr}[v \to (v_1,\dots,v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} \operatorname{Pr}[\text{gain } j] &, \sum v < N \\ 0 &, \text{ else} \end{cases}\;,\\[3ex] &\operatorname{Pr}[v \to (v_1,\dots,v_i - 1, \dots v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} 0 &, \sum v < N \lor v_i=0 \lor v_j=N \\ \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } j] &, \text{ else} \end{cases}\;\text{ and}\\[3ex] &\operatorname{Pr}[v \to v] \\ &\qquad=\begin{cases} 0 &, \sum v < N \\ \sum_{v_i \neq 0} \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } i] &, \text{ else} \end{cases}\;; \end{align*}$

他のすべての遷移確率はゼロです。単一の吸収状態はで、すべての順列のベクトルです。$(1,\dots,1)$$[1..N]$

以下のために得られたマルコフchain¹であります$N=2$

^{[ ソース ]}

吸収までの予想ステップ数

$\qquad\displaystyle \mathbb{E}\,\text{steps} = 2 p_0 p_1 \cdot 2 + \sum_{i\geq 3} (p_0^{i-1}p_1 + p_1^{i-1}p_0)\cdot i = \frac{1 - p_0 + p_0^2}{p_0-p_0^2}\;,$

簡略化のためにます。今、提案されているように、いくつかのに対して場合、$p_1=1-p_0$$p_0 = \frac{1}{2} \pm \epsilon$$\epsilon \in [0,\frac{1}{2})$

$\qquad\displaystyle \mathbb{E}\,\text{steps} = \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$。

以下のためにと均一分布（最良の場合）Iは、コンピュータalgebra²と計算を行いました。状態空間は急速に爆発するため、大きな値を評価するのは困難です。結果（切り上げ）は$N \leq 6$

^{プロットはを関数として示しています。左側には通常、右側には対数プロットがあります。$\mathbb{E}\,\text{steps}$$N$}

成長は指数関数的であるように見えますが、値が小さすぎて適切な推定値が得られません。

摂動に対する安定性については、状況を見ることができます。$p_i$$N=3$

^{プロットは、をおよび関数としてています。当然、。$\mathbb{E}\,\text{steps}$$p_0$$p_1$$p_2 = 1 - p_0 - p_1$}

より大きなに対して同様の画像を仮定すると（カーネルは場合でもシンボリック結果の計算をクラッシュします）、予想されるステップ数は、最も極端な選択を除くすべてに対してかなり安定しているようです（一部のでほぼすべてまたは質量なし）。$N$$N=4$$p_i$

比較のために、 -biasedコインのシミュレーション（たとえば、ダイスの結果をとに可能な限り均等に割り当てること）、これを使用して公正なコインをシミュレートし、最終的にビット単位の拒否サンプリングを実行するには、せいぜい$\epsilon$$0$$1$

$\qquad\displaystyle 2\lceil \log N \rceil \cdot \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

期待してサイコロを振る-あなたはおそらくそれに固執する必要があります。

1. でチェーンが吸収されているため、灰色で示されたエッジは走査されず、計算に影響しません。私は単に完全性と説明の目的のためにそれらを含めます。$(11)$
2. Mathematica 10での実装（Notebook、Bare Source）; 申し訳ありませんが、この種の問題について私が知っていることです。

の場合に関する簡単なコメント。いくつかの大きな取り、ダイの回のスローをサンプリングします。ヘッドが場合は、ビットを抽出できます。ダイであると仮定するとバイアスされ、情報の平均量は、 この推定値を取得するには、推定値とともに二項変数が集中しているという事実を使用し。以下のように大きくなる、我々は、最適な速度取得$N = 2$$m$$m$$k$$\log \binom{m}{k}$$p$

一般的なに対して同じメソッドを使用でき、おそらく同じ取得します。これらのアルゴリズムは限界においてのみ最適であり、これらよりも早く限界に達するアルゴリズムがあるかもしれません。実際、私は収束の速度を計算することを怠っていました。これは興味深い練習になるかもしれません。$N$$H(\vec{p})$

次の答えは危険です。

あなたは上記の2の具体的なケースは拡大の具体的なケースである （ここで、、頭のPROBであるあなたに用語与え尾のPROB） あなたが得ることができる。この手段 1ケースには、とその他の場合は。または（head-tailまたはtail-head）が表示されるまでサンプリングを繰り返す必要があります。これらをシミュレーションとして使用すると、等しい確率が得られます。$(p + q)^2$$p$$q$$2pq$$pq$$qp$$pq$$qp$

場合は、あなたが拡大していあなたに長期与え。この場合、同じことを行い、3つの連続した試行で3 つの結果、、がすべて順番に表示されるまでサンプリングします。$N=3$$(p + q + r)^3$$pqr$$q$$p$$r$

同じことが一般的な場合にも当てはまります。慎重に考えて、2の場合は拡張で物事を解決できる最良のケースであると言わざるを得ません。場合、には6つの異なるシーケンスがあり、展開には他の多くの項があります。もっと多くの結果がある他の用語にはかなり不快に感じます。$N=3$$pqr$

。

追加：

これは、私がサイコロの各結果の確率を推定するために単純にたくさんサンプリングするという考えについて考えさせます。隠れ層のない1つの層モデル（既知のモデル）のこの最も単純なケースでは、推定値が迅速に収束すると結論付けるために限界を計算することができます。実際、チェルノフ限界は、サンプリングが増加するにつれて（線形に）エラーが指数関数的に減少することを示しています。

サイコロの各面の確率の適切な推定がわかったので、多くのオプションがあります。1つのオプションは、上記の展開を再度実行できることですが、今回は、（またはベースのシーケンスとして使用します）。拡張でより多くの用語が使用されるため、これはもう少し効率的です。ただし、これにより、オラクルへの呼び出しの数が最小になり、前提条件（信頼性パラメーターなど）が与えられた場合にそれが保証されるかどうかはわかりません。$\prod_{i=1}^{i=n} p_i$

それでも、このアプローチは質問のさまざまなフレーバーに対する答えです。質問は、潜在的に大規模なサンプリング（低確率）を犠牲にして、保証された完全な不偏性を求めます。このアプローチは、信頼限界パラメータを使用した有限サンプリングのみを使用します。したがって、このアプローチは非常に興味深いものですが、この質問に適しているとは思いません。