整数ではない量の連続したベルヌーイの成功を生成する方法は？

18

与えられた：

バイアスが不明なコイン（ヘッド）。 $p$
厳密に正の実数。 $a > 0$

問題：

バイアスランダムなベルヌーイ変量を生成します。 $p^{a}$

誰もこれを行う方法を知っていますか？たとえば、が正の整数である場合、コインを回反転し、すべての結果がHeadsであるかどうかを確認できます。それらが「0」を発行する場合は「1」を発行します。問題は、が必ずしも整数ではないという事実にあります。また、バイアスわかっていれば、目的のバイアスで別のコインを作成できます。 $a$ $a$ $a$ $p$

sampling

— ペドロ・A・オルテガ
ソース

2

@gung：コインを与えられてベルヌーイ変量を生成するアルゴリズムが欲しいと思う。

— ニールG

1

ここでのポイントは、場合、ポップアップするすべてヘッドのうち平均だけを保持し、場合各ヘッドを平均回複製することです。

a > 1

$a>1$

a

$a$

a < 1

$a < 1$

1 / a

$1/a$

— マクロ

3

@Macro、アイデアを広げていただけますか？

— ペドロA.オルテガ

1

親愛なるペドロ、あなたの投稿に対して（+1）。これは、少なくとも私にとって、CVを非常に元気づけ、刺激的にするような質問です。この質問の起源は何ですか？

— 枢機

@cardinal：回答ありがとうございます！この問題は、私が取り組んでいる確率的制御問題を解決するためのサンプラーの一部です。が不明な理由は、正規化定数（この場合は厄介なパーティション関数）を知る必要があるためですが、拒否サンプリングを使用してそれからサンプリングすることができます。ところで、CVへのリンクだけでなく、名前で引用するのもいいでしょう;-)。

p

$p$

— ペドロA.オルテガ

19

これは、いくつかの「トリック」と少しの数学で解決できます。

基本的なアルゴリズムは次のとおりです。

成功確率幾何学的確率変数を生成します。 $p$
このランダム変数の結果により、既知の固定値決まります。 $f_n \in [0,1]$
コインのブロックワイズペアフリップから生成された公平なコインフリップを使用して、ランダム変数を生成します。 $\mathrm{Ber}(f_n)$ $\mathrm{Ber}(p)$
結果はに対してになります。 $\mathrm{Ber}(p^a)$ $a \in (0,1)$

物をより消化しやすいものにするために、物を細かく分けます。

ピース1：一般性を失うことなく、と仮定し。 $0 < a < 1$

場合正の整数とと書くことができます。ただし、2つの独立したベルヌーイの場合、明白な方法でコインからベルヌーイを生成できます。したがって、ときにを生成することだけに関心があります。 $a \geq 1$ $p^a = p^n p^b$ $n$ $0 \leq b < 1$

P (X_{1} = X_{2} = 1) = p_{1} p_{2} .

$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$

p^{n}

$p^n$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

a \in (0, 1)

$a \in (0,1)$

ピース2：公正なコインフリップから任意のを生成する方法を知っています。 $\mathrm{Ber}(q)$

これを行う標準的な方法があります。展開そのバイナリ拡張で、その後、私たちの公正なコインが「一致」の桁に反転し使用。最初の一致により、成功（ "heads"）または失敗（ "tails"）を宣言するかどうかが決まります。場合、当社のコインフリップはヘッド、宣言ヘッドを、ある場合と私たちのコインフリップは尾、宣言尾です。そうでない場合は、新しいコインフリップに対する後続の数字を検討してください。 $q = 0.q_1 q_2 q_3 \ldots$ $q$ $q_n = 1$ $q_n = 0$

ピース3：バイアスが未知の不公平なコインから公正なコインフリップを生成する方法を知っている。

これは、コインをペアで反転させることにより、想定して行われます。を取得した場合、ヘッドを宣言します。を取得した場合、テールを宣言し、それ以外の場合は、前述の2つの結果のいずれかが発生するまで実験を繰り返します。それらは同様にありそうなので、確率持たなければなりません。 $p \in (0,1)$ $HT$ $TH$ $1/2$

ピース4：いくつかの数学。（テイラーの救助。）

を周りに展開することにより、テイラーの定理は、なおため、後の各用語が最初に負我々は持っているので、は先験的に知られています。したがってここで、および $h(p) = p^a$ $p_0 = 1$

p^{a} = 1 - a (1 - p) - \frac{a (1 - a)}{2!} (1 - p)^{2} - \frac{a (1 - a) (2 - a)}{3!} (1 - p)^{3} \dots .

$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$

0 < a < 1

$0 < a < 1$

p^{a} = 1 - \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n},

$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$

0 \leq b_{n} \leq 1

$0 \leq b_n \leq 1$

1 - p^{a} = \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n} = \sum_{n = 1}^{\infty} b_{n} P (G \geq n) = \sum_{n = 1}^{\infty} f_{n} P (G = n) = E f (G),

$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$

G \sim G e o m (p)

$G \sim \mathrm{Geom}(p)$

f_{0} = 0

$f_0 = 0$

f_{n} = \sum_{k = 1}^{n} b_{k}

$f_n = \sum_{k=1}^n b_k$ 以下のため。

n \geq 1

$n \geq 1$

そして、コインを使用して成功確率幾何ランダム変数を生成する方法をすでに知っています。 $p$

ピース5：モンテカルロトリック。

LETの値をとる離散ランダム変数であるで。ましょう。次に、 $X$ $[0,1]$ $\Pr(X = x_n) = p_n$ $U \mid X \sim \mathrm{Ber}(X)$

P (U = 1) = \sum_{n} x_{n} p_{n} .

$\Pr(U = 1) = \sum_n x_n p_n.$

しかし、およびをとると、確率変数を生成する方法がわかります。これは 1。 $p_n = p(1-p)^n$ $x_n = f_n$ $\mathrm{Ber}(1-p^a)$ $\mathrm{Ber}(p^a)$

— 枢機卿
ソース

どうすればあなた（またはあなたのソリューション）を引用できますか？

— ペドロA.オルテガ

2

@Pedro：この回答の下部にある「共有」リンクをクリックできると思います。安定したリンクである必要があります。Math.SEには引用メカニズムがありますが、このメカニズムはこのサイトでは有効になっていないように見えますが、適応できる場合があります。

— 枢機

1

さて、これは素晴らしい答えです！

— 禅

1

これは、Analytic CombinatoricsのCourseraクラスのGeneral Discussionフォーラムで作成しました。これは、そこでカバーされている資料の一部に関連するべき級数の優れた使用方法だったからです。class.coursera.org/introACpartI-001/forum/thread?thread_id=108

— ダグラス

@ダグラス：ありがとう！そのスレッドの公に閲覧可能なバージョンがありますか、それを見るためにコースにサインアップする必要がありますか？Pedroと私は、このアプローチを彼の研究の一部に含めるための可能性のある方法を（電子メールで）議論しています。

— 枢機

6

次の答えは愚かですか？

場合独立していると分布している、は場合としてほぼ分布します。 $X_1,\dots,X_n$ $\mathrm{Ber}(p)$ $Y_n$ $\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$ $Y_n$ $\mathrm{Ber}(p^a)$ $n\to\infty$

あなたがわからない場合したがって、、しかし、あなたは、このコインを投げることができ、多くの時間のを、それから（約）サンプルすることが可能である確率変数。 $p$ $\mathrm{Ber}(p^a)$

サンプルRコード：

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

結果：

p^a = 0.01234568 
est = 0.012291

— 禅
ソース

2

私はこの答えを好むが、私はそれが私が知らなくても、要求された分布から生成するアルゴリズムを尋ねると解釈質問のポイントミス疑い（または約経験的情報）。しかし、問題は確率変数を生成できることを前提としているため、これは完全に合理的な答えであり、まったく愚かではありません！+1

p

$p$

p

$p$

B e r n o u l l i (p)

${\rm Bernoulli}(p)$

— マクロ

1

+1：気に入っています。私はあなたが意味すると仮定し配布されて...？

Y_{n}

$Y_n$

— ニールG

ずっといい！Tks、@ Neil G！

— 禅

1

これはかわいい（+1）ですが、ほぼ確実に有限数のフリップで正確に実行できます（平均すると、その数は比較的小さくなります）。

— 枢機

5

この質問の以下の説明と枢機'の回答を、Courseraの現在の分析的コンビナトリクスクラスのGeneral Discussionフォーラム、「ランダムシリーズの構築へのべき級数の適用」に投稿しました。これをコミュニティWikiとしてここに投稿し、これを一般公開し、より恒久的に利用できるようにします。

べき級数に関連するstat.stackexchange.comで興味深い質問と回答がありました。「整数ではない量の連続したベルヌーイの成功を生成する方法は？」私は枢機byによって質問と答えを言い換えます。

確率がで、正の実数ある可能性のある不公平なコインがあるとします。確率があるイベントをどのように構築できますか？ $p$ $\alpha$ $p^\alpha$

が正の整数である場合、コインを回反転させるだけで、すべての投げが頭であるというイベントを発生させることができます。ただし、が整数（など）でない場合、これは意味がありませんが、この考えを使用して、の場合に減らすことができます。確率がであるイベントを構築する場合、確率がとである独立したイベントの共通部分を取ります。 $\alpha$ $\alpha$ $\alpha$ $1/2$ $0 \lt \alpha \lt 1$ $p^{3.5}$ $p^3$ $p^{0.5}$

できることの1つは、既知の確率イベントを構築することです。これを行うために、コインを2回繰り返し反転し、をとして読み取り、をとして読み取り、とを無視することにより、公正なビットのストリームを構築できます。このストリームをのバイナリ展開と比較します。最初の不一致がである場合、確率ます。私たちは知らない、私たちはこれを直接使用することはできませんが、それは便利なツールになります。 $p' \in [0,1]$ $HT$ $1$ $TH$ $0$ $HH$ $TT$ $p' = 0.a_1a_2a_3..._2$ $a_i=1$ $p'$ $p^\alpha$

主な考え方は、級数を使用することですここでです。コインを回反転し、それらがすべてテールであるかどうかを確認することにより、確率がイベントを構築でき、 2進数を公正なビットストリームと比較することにより、確率イベントを生成できます上記のように、トスがすべてテールかどうかを確認します。 $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ $p=1-q$ $q^n$ $n$ $p' q^n$ $p'$ $n$

パラメーター幾何学的ランダム変数を構築します。これは、コイントスの無限のシーケンスにおける最初のヘッドの前のテールの数です。。（一部の人々は異なる定義を使用します。） $G$ $p$ $P(G=n) = (1-p)^np = q^n p$ $1$

シーケンスを考えると、を生成できます。最初のヘッドまでコインを反転し、最初のヘッドの前にテールがある場合、インデックスシーケンスの要素を取得します。それぞれの場合、我々は比較できに一様確率変数との確率でイベントを取得する（上記のように構成された） $t_0, t_1, t_2, ...$ $t_G$ $G$ $G$ $t_n \in [0,1]$ $t_G$ $[0,1]$ 。 $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

これは、ほとんど必要なものです。私たちは、その排除したいするための電源シリーズを使用しで。 $p$ $p^\alpha$ $q$

1 = p + q p + q^{2} p + q^{3} p + . . .

$1 = p + qp + q^2p + q^3p + ...$

q^{n} = q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .

$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$

\begin{array}{rcl} \sum_{n} s_{n} q^{n} & = & \sum_{n} s_{n} (q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .) \\ = & \sum_{n} (s_{0} + s_{1} + . . . + s_{n}) q^{n} p \end{array}

$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$

検討。してみましょうの係数の合計とを通して。次いで、。各の係数は正の和であるので、、我々は確率でイベントを構築することができるように $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$ $t_n$ $q$ $q^n$ $1-p^\alpha = \sum_n t_n q^n p$ $t_n\in [0,1]$ $1-0^\alpha = 1$ $1-p^\alpha$ 公平なビットストリームをバイナリ展開と比較することにより。補数は、確率がある必要に応じて。 $t_G$ $p^\alpha$

繰り返しますが、議論は枢機toによるものです。

— ダグラス・ザレ
ソース

1

（+1）問題を投稿してくれてありがとう。博覧会の違いは、比較的わずかですが、アプローチをより明確にするのに役立ちます。

— 枢機

4

枢機inalとその後の貢献による非常に完全な答えは、次の発言/異形を引き起こしました。

PZを "Probability of Zero"およびます。場合 IIDベルヌーイPZを有する配列でありは、 $q:=1-p$ $X_n$ $q$ はPZベルヌーイrv です。今製造ランダムすなわち、整数RVによってそれを置き換えるベルヌーイRVにリードと $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ $q^n$ $n$ $N \geq 1$ $M_N$ したがって、あり、枢機'の答えからを取得した場合、および is に応じて。係数

P r {M_{N} = 0} = \sum_{n = 1}^{\infty} P r {M_{N} = 0 | N = n} P r {N = n} = \sum_{n = 1}^{\infty} P r {N = n} q^{n} .

$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$

0 < a < 1

$0 < a < 1$

P r {N = n} = b_{n}

$\mathrm{Pr}\{N =n\} =b_n$

P r {M_{N} = 0} = 1 - p^{a}

$\mathrm{Pr}\{M_N =0\} = 1- p^a$

1 - M_{N}

$1-M_N$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

b_{n}

$b_n$ 満足

と彼らはに合計

。

b_{n} ⩾ 0

$b_n \geqslant 0$

1

$1$

離散分布のみに依存すると、リコール $N$ $a$ $0 < a < 1$ 興味深い機能があります。無限の期待と重い尾の振る舞い

P r {N = n} = \frac{a}{n} \prod_{k = 1}^{n - 1} (1 - a / k) (n \geq 1) .

$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$

と

。

n b_{n} \sim c / n^{a}

$n \,b_n \sim c/n^a$

c = - 1 / Γ (- a) > 0

$c = -1/\Gamma(-a) >0$

ただし、最大で RVS、その決意は、多数の必要である結果を1としてすぐに知られているので、ある。計算されたは幾何学的に分布しています。 $M_N$ $N$ $X_k$ $\leq N$ $X_k$ $1$ $X_k$

— イブ
ソース

X_{k}

$X_k$

θ

$\theta$

(0 < θ < 1)

$(0 < \theta < 1)$

M_{n}

$M_n$

q^{n θ}

$q^{n\theta}$

q^{n}

$q^n$

n θ = a

$n\theta = a$

a > 0

$a>0$

X_{n}

$X_n$

X_{n}^{⋆}

$X_n^\star$

θ

$\theta$ standard Frechet'' by

b_{n} q^{n}

$b_n q^n$

B e r (p)

$\mathrm{Ber}(p)$

N

$N$

— 枢機

(0, 1)

$(0,1)$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

N

$N$

n b_{n} \sim c n^{- (1 + a)}

$n b_n \sim c n^{-(1+a)}$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

B e r (p)

$\mathrm{Ber}(p)$

1

c

$c$

- 1 / Γ (- a)

$-1/\Gamma(-a)$

n

$n$

Γ (z)

$\Gamma(z)$

z := - a

$z:=-a$

\prod_{k = 1}^{n - 1}

$\prod_{k=1}^{n-1}$

— イヴ

b_{n}

$b_n$

n b_{n}

$n b_n$