同じバイアスのコインから、公平に近いコイントスを得るための最良の方法は何ですか？

21

（フォン・ノイマンは、同一のバイアスされたコインへのアクセスを与えられた公正なコインをシミュレートするアルゴリズムを与えました。アルゴリズムは潜在的に無限の数のコインを必要とします。制限されています。）

我々が持っていると仮定しバイアスと同じコイン。目的は、バイアスを最小限に抑えながら、単一のコイントスをシミュレートすることです。 $n$ $\delta=P[Head]-P[Tail]$

シミュレーションは、次の意味で効率的である必要があります。多項式時間で実行されるアルゴリズムは、ランダムビットを見て、単一ビットを出力します。アルゴリズムのバイアスは、として定義されますここで、ように iidビット定義された分布を期待します。 $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

多項式時間で実行されているアルゴリズムバイアス最小ですか？ $A$ $Bias(A)$

この質問は私にとって非常に自然なことであり、以前に検討された可能性が非常に高いです。

この問題について何がわかっていますか？アルゴリズムのより弱いクラス（など）が考慮されるとき、何かが知られていますか？ $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— フルシケシ
ソース

15

n個のバイアスコインを投げて頭のパリティを取得すると、指数関数的に近くなります。 $\frac{1}{2}$

[証明のために、頭が-1で尾が1の確率変数を考えて、頭の数が奇数である確率は ] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

おそらく、これは次の理由からも最適です。してみましょう、これらのビットのいずれかの組成関数です。それから、と最高のはパリティ関数のようです（そうではありませんか？）。 $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

複雑さの低い合成関数に興味がある場合は、「NP内の硬さ増幅」に関するRyan O'Donnellの論文が非常に適切でしょう。そこで彼は、硬さを増幅するために単調な合成関数を使用し、機能する関数はそのノイズ感度によって特徴付けられています。

— ランプラサド
ソース

パリティが最適な機能である理由を詳しく説明していただけますか？（また、それが漸近的に重要であるというわけではありませんが、、フーリエ展開ではであってはなりません。）論文へのポインタをありがとう！

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— フルシケシ

ああ、すみません、あなたは正しいです。式が正しくなかったため、修正しました。私は最適性の証拠を持っていません（おそらく最適ではないかもしれません）が、私が推測した理由は、式が代わりにこれは凸型の組み合わせだからです。

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$

— ランプラサド

おそらくこれはいくらか光を放つかもしれない。コーシー・シュワルツによって、。最適化の1つの方法は、上限を可能な限り最小化することです。これは、関数がパリティ関数である場合に発生し、その場合、関心のある量も上限に一致します。ただし、フーリエ係数のベクトルが -vectorに完全に直交している場合があります。この場合、LHSはゼロです。そのような例を知っている特別な値はありますか？

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— ランプラサド

実際、ある自明でない単調関数を使用する場合、での確率は0で、でです。したがって、いくつかの中間については、値取る必要があります。したがって、すべてのについて、パリティ関数が最適であると期待することは公平ではありません。

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— ランプラサド

最後のコメントをもっと詳しく説明できますか？Fの複雑さの問題を無視して、あなたの結論真実ではない場合にのみ、のためのパリティからバイアスがかかるのでへ？

E [f] = 1 / 2

$E[f]=1/2$

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— フルシケシ

12

バイアスが既知であるか未知であるかはわかりません。フォン・ノイマンのアルゴリズムの魅力は、どちらの場合でも機能することです。

既知であると仮定します。その場合、最良の答えは、バイアスの数論的特徴に大きく依存します。p = 2/3としましょう。コインを2回投げて、HHを0に、THとHTを1にマッピングし、結果がTTの場合は実験を繰り返します。すると、0と1が等しく発生し、繰り返しの可能性は、フォンノイマンのアルゴリズムでは5/9ではなく1/9になります。言い換えれば、反復制限が2の場合、結果の1つだけを1/9だけバイアスします。

これはすべて、情報理論とコーディング理論に密接に関連しています。pがより複雑な分子と分母を持つ分数である場合、最適なアルゴリズムには2より長いブロック長が必要です。シャノンスタイルの存在引数を使用して、特定のバイアスに対して、必要ですが、ブロック長は非常に大きくなる可能性があります。

Peresの論文「Ionating Von Neumann's Procedure for Random Bits」では、von Neumannのアルゴリズムのバージョンがシャノン限界に任意にうまく近づくことができることを証明しています。この分野の研究の多くは、情報理論家と統計学者によって行われたようです。そのため、質問に対する直接的な答えを与える複雑な理論的傾斜を持つ論文は考えられません。

反対のことを尋ねる楽しい関連の問題があります：公平なビットのソースがある場合、2のべき乗以外のセットで均一な分布を効率的に生成するにはどうすればよいですか？あなたの質問に似ている問題の反復制限版は、公正なコインのn回のトスでエントロピーを最大化する（つまり、分布をできるだけ均一にする）ことを求めます。

— ヴォグセンごと
ソース

1

バイアスなしで実行時間を最適化すること（論文の目的）は、実行時間に応じてバイアスを最適化する二重のラグランジュであることに気づきました。だから、私は紙が実際にあなたの質問に答えると思います！

— Per Vognsen

5

この質問は、次の一般化された形式で考えることを好みます。高さnの完全な二分木があり、各ノードには1の数の合計が割り当てられます。近い数字？

パラメーターおよびでコインにバイアスをかけている場合、ノードの値はます。 $p$ $q=1-p$ $p^i q^{n-i}$

他の回答で述べたように、ほとんどの海賊版の目的のために、ビットのパリティを取ることは良いことです。バイアスは。 $\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$

一般に、十分なコンピューティングリソース（たとえば、ランダムなビット数の）がある場合、最適な方法でノードを分割できます。 $PSpace$

編集「これは基本的にシャノンのコーディングの問題です。」（Per Vognsenに感謝します。）編集終了

一方、使用のみが許可されている場合、補題の切り替えのためにあまり達成できないことを示すのは難しくありません。回路はCNFによって指数関数的に近似され、CNFが適切なバイアスで答えを計算できないことを示すのは難しくありません。 $AC^0$

（この回答にはエラーが含まれている可能性があります。詳細を確認していません。）

— カベ
ソース

2

「リーフを2つのセットに分割して、それらの数の合計が近いかどうかを確認できますか？」これは基本的にシャノンコーディングの問題です。Shannon-Fanoアルゴリズムはトップダウンであり、一連の確率加重要素から始まり、可能な限り均等な2分割を要求します。これを再帰的に適用すると、プレフィックスのない完全なコードが得られます。ハフマンアルゴリズムはボトムアップです。シングルトンツリーから始まり、最も近い確率でペアを繰り返しマージします。算術コーディングについて知っている場合は、一度に1つではなく、複数の公平なビットを一度に生成することをお勧めします。

— Per Vognsen

4

バイアスされたコインから多くのランダムビットを取得することもできます。製品分布（http://sites.google.com/site/arielgabizon1/）のGabizonの論文Derandomizing algorithmを参照してください。

3

関連する質問、別のサイト：ランダムビットシーケンスのホワイトニング

— BCS
ソース

1

バイアスされたコインで偶数のコイントスを偏らせたい場合、バイアスを取り除く簡単な方法は、他のすべてのトスの結果を逆にすることです。

— ディーン・J
ソース

1

もちろん、これは一様にランダムなシーケンスにはなりません。コインのバイアスが1になったときの制限的なケースを想像してください。ビットの決定論的な交互シーケンスを取得するだけです。

— アーロンロス

結果を全単射で再マッピングする戦略はエントロピーを保持するため、非最大エントロピー（バイアス）から最大エントロピー（バイアスなし）に分布を変更することはできません。

— ヴォーグセンごと