なぜこの分布は均一なのですか？

私たちはベイジアン統計検定を調査していますが、奇妙な（少なくとも私にとって）現象に出くわします。

次の場合を考えてみましょう。AまたはBのどちらの母集団のコンバージョン率が高いかを測定することに関心があります。健全性チェックでは、を設定し $p_A = p_B$ ます。つまり、変換の確率は両方のグループで等しくなります。二項モデルを使用して人工データを生成し

n_{A} \sim Binomial (N, p_{A})

$n_A \sim \text{Binomial}(N, p_A)$

次に、ベイジアンベータ二項モデルを使用してを推定し、各変換レートの事後確率を取得します。たとえば、 $p_A, p_B$

P_{A} \sim Beta (1 + n_{A}, N - n_{A} + 1)

$P_A \sim \text{Beta}(1 + n_A, N - n_A +1 )$

検定統計量は経由でを計算して計算されます。 $S = P(P_A > P_B\; |\; N, n_A, n_B)$

私が驚いたのは、場合、です。私は、サンプルサイズが大きくなると、0.5を中心に0.5に収束し、さらには0.5に収束すると考えていました。 $p_A = p_B$ $S \sim \text{Uniform(0,1)}$ $N$

私の質問は、ときにですか？ $S \sim \text{Uniform(0,1)}$ $p_A = p_B$

デモするPythonコードを次に示します。

%pylab
from scipy.stats import beta
import numpy as np
import pylab as P

a = b = 0.5
N = 10000
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples)
P.show()

— Cam.Davidson.Pilon
ソース

は離散変数であるため、正確に均一にできないことに注意してください。したがって、あなたは漸近的な振る舞いについて尋ねています。さらに、小さな

（未満、およそ）の場合、分布は均一に近くさえありません。

S

$S$

N

$N$

100 / min (p, 1 - p)

$100/\min(p,1-p)$

p = p_{A} = p_{B}

$p=p_A=p_B$

— whuber

@whuber Sは離散的ではなく、0〜1の範囲に収まる可能性があります。また、低Nであっても、均一な動作を観察しています。

— Cam.Davidson.Pilon

それでは、セットアップを誤解しているに違いありません。私の知る限り、任意の与えられた値のためにの値ある数が。したがって、およびが（コードにあるように）現時点で固定されていることを受け入れると、は関数になります。しかし、後者は2つの二項分布の実現であり、離散的な値のセットのみを達成できます。でコードを再現すると、小さなに対して明らかに不均一なヒストグラムが得られます。

N, n_{A}, n_{B},

$N,n_A,n_B,$

S

$S$

N, p_{A},

$N, p_A,$

p_{B}

$p_B$

S

$S$

(n_{A}, n_{B})

$(n_A,n_B)$ R

N

$N$

— whuber

確かにあなたがの間の値があると、それは最大で持つことができます、非離散していることを混同しないでください個別の値を（そして実際よりも少なくあり）。シミュレーションでは正しい値ではなく推定値が生成され、推定値は本質的に連続分布を持っているため、これは完全には明らかではないかもしれません。

S

$S$

0

$0$

1

$1$

N^{2}

$N^2$

S

$S$

— whuber

@whuberはい、あなたは正しい、優れた観察です。私はまだそれが均一に見える理由にまだ固執しています。

— Cam.Davidson.Pilon

回答:

TL; DR： ビンサイズが大きい場合、正規分布の混合物は均一に見える場合があります。

この答えは、@ whuberのサンプルコードから引用しています（最初はエラーだと思っていましたが、振り返ってみるとおそらくヒントでした）。

母集団の基礎となる割合は等しい：a = b = 0.5。
各グループAとBには10000人のメンバーがいますN = 10000。
シミュレーションの5000回の複製を実行しますfor i in range(5000):。

実際に、私たちがやっているさのこと。5000回の繰り返しの各々で我々が行うであろう $\rm simulation_\rm{prime}$ $\rm simulation_\rm{underlying}$ $\rm simulation_\rm{prime}$ 。 $\rm simulation_\rm{underlying}$

各反復で、以前に定義された等しい基礎比率が与えられた場合に、「成功」（別名変換）である乱数AおよびBをシミュレートします。通常、これによりA = 5000およびB = 5000が得られますが、AおよびBはsim実行ごとに異なり、5000回のシミュレーション実行に独立して（ほぼ）通常は分散されます（これに戻ります）。 $\rm simulation_\rm{prime}$ A = np.random.binomial(N, a); B = np.random.binomial(N, b)

スルー今ステップレッツの1回の反復のためのでAとB HAVE等しい数の成功で取得されます（平均的な場合）。各反復で $\rm simulation_\rm {underlying}$ $\rm simulation_\rm{prime}$ では、AとBが与えられると、各グループのベータ分布のランダム変量を作成します。次に、それらを比較し、であるかどうかを調べ、TRUEまたはFALSE（1または0）を生成します。実行の最後 $\rm simulation_\rm{underlying}$ ${\rm Beta}_A > {\rm Beta}_B$ $\rm simulation_\rm {underlying}$ 、15000回の反復を完了し、15000個のTRUE / FALSE値を持っています。これらの平均は、の割合の（ほぼ正規の）サンプリング分布から単一の値を生成します。 ${\rm Beta}_A > {\rm Beta}_B$

今を除いて、は5000のA値とB値を選択します。AとBが正確に等しくなることはめったにありませんが、AとBの成功数の典型的な違いは、AとBの合計サンプルサイズによって小さくなります。典型的なAsとBは、の割合のサンプリング分布からより多くのプルを生成しますですが、A / B分布の端にあるものもプルされます。 $\rm simulation_\rm{prime}$ ${\rm Beta}_A > {\rm Beta}_B$

本質的に、多くのsimの実行をプルするのは、AとBの組み合わせに対するのサンプリング分布の組み合わせです（Aの一般的な値から作られたサンプリング分布からより多くのプルAとBの珍しい値よりもB）。これにより、正規分布の混合が生じます。それらを小さなビンサイズで組み合わせた場合（使用したヒストグラム関数のデフォルトであり、元のコードで直接指定されていた）、均一な分布のように見えるものになります。 ${\rm Beta}_A > {\rm Beta}_B$

考慮してください：

a = b = 0.5
N = 10
samples = [] #collects the values of S
for i in range(5000):
    assert a==b
    A = np.random.binomial(N, a); B = np.random.binomial(N, b)
    S = (beta.rvs(A+1, N-A+1, size=15000) > beta.rvs(B+1, N-B+1, size=15000)).mean() 
    samples.append(S)

P.hist(samples,1000)
P.show()

— ラッセルピアス
ソース

したがって、私とあなたのコードには違いがあります。各ループでAとBをサンプリングします。1回サンプリングし、Sを5000回計算します。

— Cam.Davidson.Pilon

不一致は、への呼び出しにありrbinom、これはベクトルを返します。その後のrbeta内部への呼び出しreplicateはベクトル化されるため、内部（内部）ループは、生成された15000個のランダム変数ごとに異なる

と

を使用します（からの最後の5000でラップします）。詳細をご覧ください。これは@Camのコードとは異なり、5000個のサンプリング（）ループごとに15000個のランダム変量呼び出しすべてで使用される単一の固定

および

ます。

A

$A$

B

$B$ NSIM = 10000?rbeta

A

$A$

B

$B$ replicate

— 枢機

好奇心の強い人の出力は次のとおり

— Cam.Davidson.Pilon

概念レベルで潜在的に適切であると私が知っている唯一のことは、a）予想される結果の分布は対称である、b）ビンサイズ1は常に均一、c）対称分布のビンサイズ2また、常に均一に表示されます、d）Nの増加から引き出すことができるサンプリング分布の数、e）Sの値は0または1だけで積み重なることはできません、及びf）サンプルは0と1の間に制限されている

— russellpierce

観測のみの問題として、サンプリング分布の重心が.5から離れるにつれて、サンプリング分布の重心間の距離が短くなることがわかります（おそらく上記の点fに関連）。この効果は、グループAとグループBのケースでのより一般的なほぼ等しい成功の観測の高頻度の傾向を打ち消す傾向があります。しかし、それがなぜなのか、特定のビンサイズに対して正規分布を生成する必要があるのかを数学的に解くことは、私の領域の近くではありません。

— ラッセルピアス

何が起こっているのかを直感的に理解するために、非常に大きくし、動作を無視し、ベータ分布と二項分布の両方がほぼ正規になるという漸近定理を活用してください。（いくつかの問題を抱えて、これはすべて厳密にすることができます。）これを行うと、さまざまなパラメーター間の特定の関係から結果が現れます。 $N$ $O(1/N)$

Normal近似を使用する予定なので、変数の期待値と分散に注意を払います。

二項変量として、とは期待値と分散があります。したがって、およびは、および分散期待値があります。 $(N, p)$ $n_A$ $n_B$ $pN$ $p(1-p)N$ $\alpha=n_A/N$ $\beta=n_B/N$ $p$ $p(1-p)/N$
ベータとして変量、の期待有するとの分散 $(n_A+1, N+1-n_A)$ $P_A$ $(n_A+1)/(N+2)$ 。概算すると、は次の期待があることがわかります。 $(n_A+1)(N+1-n_A) / [(N+2)^2(N+3)]$ $P_A$

$E (P_{A}) = α + O (1 / N)$ $\mathbb{E}(P_A) = \alpha+O(1/N)$
および分散

$Var (P_{A}) = α (1 - α) / N + O (1 / N^{2}),$ $\text{Var}(P_A) = \alpha(1-\alpha)/N + O(1/N^2),$
についても同様の結果が得られます。 $P_B$

米国したがって分布に近似してみましょうおよび正常でおよび正常（第2パラメータが指定分布分散）。分布結果的にほぼ垂直です。機知に $P_A$ $P_B$ $(\alpha, \alpha(1-\alpha)/N)$ $(\beta,\beta(1-\beta)/N)$ $P_A-P_B$

P_{A} - P_{B} \approx Normal (α - β, \frac{α (1 - α) + β (1 - β)}{N}) .

$P_A-P_B \approx \text{Normal}\left(\alpha-\beta, \frac{\alpha(1-\alpha) + \beta(1-\beta)}{N}\right).$

For very large $N$ , the expression $\alpha(1-\alpha) + \beta(1-\beta)$ will not vary appreciably from $p(1-p)+p(1-p)=2p(1-p)$ except with very low probability (another neglected $O(1/N)$ term). Accordingly, letting $\Phi$ be the standard normal CDF,

Pr (P_{A} > P_{B}) = Pr (P_{A} - P_{B} > 0) \approx Φ (\frac{α - β}{\sqrt{2 p (1 - p) / N}}) .

$\Pr(P_A\gt P_B) =\Pr(P_A-P_B\gt 0) \approx \Phi\left(\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}\right).$

But since $\alpha-\beta$ has zero mean and variance $2p(1-p)/N,$ $Z=\frac{\alpha-\beta}{\sqrt{2p(1-p)/N}}$ is a standard Normal variate (at least approximately). $\Phi$ is its probability integral transform; $\Phi(Z)$ is uniform.

— whuber
ソース

I'mn with you up until

P_{A} - P_{B} \approx N o r m a l

$P_A - P_B \approx Normal$ ... then you go off another direction that I didn't quite follow. Is

Φ

$\Phi$ defined twice, once as the standard normal CDF and then as the probability integral transform? I'm hoping you can expand your description around these steps and relate them to the initial code/problem. Maybe loop back around and restate which specific parameters produce the uniform result.

— russellpierce

@rpierce (1) The difference

P_{A} - P_{B}

$P_A-P_B$ is approximately normal because

P_{A}

$P_A$ and

P_{B}

$P_B$ are independent and each is approximately normal. The mean is the difference of the means and the variance is the sum of the variances. (2) The probability integral transform is the CDF: it is the case for any random variable

X

$X$ with continuous distribution

F

$F$ , that

F (X)

$F(X)$ is uniform.

— whuber

Oh I got 1, it was the stuff after it where I got lost. This will be mindbogglingly dumb, but why is

P r (P_{A} > P_{B})

$Pr(P_A>P_B)$ the same as the CDF?

— russellpierce

@rpierce That follows rather directly from the definition, but there's a slight twist in which the symmetry of the Normal distribution is invoked. We're dealing with a Normal variate

X = P_{A} - P_{B}

$X = P_A-P_B$ assumed to have an expectation of

μ = α - β

$\mu=\alpha-\beta$ and variance

σ^{2} = 2 p (1 - p) / N

$\sigma^2 = 2p(1-p)/N$ . Standardizing

X

$X$ , it is natural to rewrite the probability as

Pr (X > 0) = Pr ((X - μ) / σ > (0 - μ) / σ) = 1 - Φ (- μ / σ) = Φ (μ / σ) .

$\Pr(X\gt 0) = \Pr((X-\mu)/\sigma \gt (0-\mu)/\sigma) = 1-\Phi(-\mu/\sigma) = \Phi(\mu/\sigma).$

— whuber

@whuber this is pretty amazing. You are a wonderful teacher. I appreciate both yours and rpierce's answer, I'll still give him credit as it did solve our problem, and you have shown why the behaviour occurs. Ty!

— Cam.Davidson.Pilon