Rademacher確率変数の積の合計


9

してみましょう値取って独立な確率変数であるまたは確率0.5それぞれで。合計ます。確率を上限にしたいと思います。私が今持っている最高の境界はで、cは普遍定数です。これは、単純なチャーノフ境界を適用することにより、確率Pr(| x_1 + \ dots + x_n | <\ sqrt {t})およびPr(| y_1 + \ dots + y_n | <\ sqrt {t})の下限を設定することで実現されます。この限界よりもはるかに優れたものを手に入れたいと思いますか?まず第一に、私は少なくとも得ることができますx1xa,y1yb+11S=i,jxi×yjP(|S|>t)2ectmax(a,b)cPr(|x1++xn|<t)Pr(|y1++yn|<t)ectab。サブガウステールを取得できる場合、おそらくそれが最善ですが、それは期待できますか(そうは思わないが、引数について考えることはできません)。


チェルノフバインドを直接Sに適用することを検討しましたSか?E [\ exp(\ lambda S] = E \ left [\ lambda \ sum_i \ sum_j X_iY_j \ right] = E \ left [\ lambda \ left(\ sum_i X_i \ right)\ leftで何かできるかもしれません(\ sum_j Y_j \ right)\ right]
E[exp(λS]=E[λijXiYj]=E[λ(iXi)(jYj)]
Dilip Sarwate 2013

t \ gt abの範囲には明らかな改善がありt>abます。そのため、確率はゼロでなければなりません。それは「サブガウス」の尾であるように思えます:-)。また、あなたの限界は正しくないようです:常に1である変数は1、この質問の条件を満たします。用a=bおよびt=a21確率は1が、あなたのバウンドが漸近的に2exp(ca)0のように大きくなります。a
whuber

すべての変数が1になる確率は指数関数的に低下します。私はあなたのコメントを理解しているとは思わない。ため及び 記載バウンドIよりも大きい和の確率として極めて自明真であるであるa=bt=a21t212(a1)eln(2)c(a1/a)
user1189053 2013

1
私の間違いを本当に申し訳ありません。上記で一律に述べたと思います。pは= 1/2と私たちは保留に不平等のために(必要に応じて)大きな任意の定数よりも、aとbを取ることができるように
user1189053

2
私の目が私をだましているのでなければ、あなたは製品の合計ではなく、製品の合計を検討しています。:-)
枢機卿

回答:


7

代数的関係

S=i,jxiyj=ixijyj

は、2つの独立した和の積としてを示します。なぜならとある独立したベルヌーイ変量、二項である可変れます2倍にシフトされました。従って、その平均であるとその分散です。同様に、の平均は、分散はです。定義して今すぐ標準化しましょうS(xi+1)/2(yj+1)/2(1/2)X=i=1axi(a,1/2)0aY=j=1byj0b

Xa=1ai=1axi,

どこからでも

S=abXaXb=abZab.

高い(および定量化可能な)精度で、が大きくにつれて、は標準正規分布に近づきます。 したがって、を2つの標準法線の積のとして近似します。aXaSab

次のステップは、

Zab=XaXb=12((Xa+Xb2)2(XaXb2)2)=12(U2V2).

は、独立した標準正規変数およびの二乗の差の倍数です。の分布は分析的に計算できます(特性関数を反転することにより)。そのpdfは、ゼロ次のベッセル関数比例します。この関数は指数関数の裾を持っているので、大きなと固定された場合、質問で与えられたよりもへのより良い近似はない結論付けます。UVZabK0(|z|)/πabtPra,b(S>t)

と 1つが(少なくとも)大きくない場合、または近いの尾部の点にある場合、改善の余地があります。の分布を直接計算すると、よりもはるかに大きく、おおよそを超えた点で、テール確率が漸減する曲線が示されます。これらの対数線形のCDFのプロットの種々の値に対する(タイトルに与えられた)と(同じ値よりおよそ至るまで、各プロットに色で区別)で何が起こっているかを示しています。参考までに、制限グラフabS±abSababmax(a,b)SabaK0分布は黒で示されています。(は中心に対称なので、なので、負の尾部を見るだけで十分です。)S0Pr(S>t)=Pr(S<t)

図

大きくなる、CDFは、基準線に近い成長します。b

この曲率を特徴付けて定量化するには、二項変量の正規近似のより詳細な分析が必要になります。

ベッセル関数近似の品質は、これらの拡大された部分(各プロットの右上隅)でより明確になります。私たちはすでにかなりのところまで進んでいます。対数の垂直スケールは実質的な違いを隠すことができますががに到達までに、近似は適切です。a500|S|<ab

インセット


の分布を計算するRコードS

以下の実行には数秒かかります。(これは、36個の組み合わせのために数百万確率演算および遅いマシンで。)、省略より大きい一つまたは二つの値とから下部プロット制限を増やすの周りに。abab1030010160

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

1
とてもよくできました!2つの標準法線の積のcdfの正確な形式を取得できます。負の尾の場合は1/2 (1 + y BesselK[0,-y] StruveL[-1, y] - y BesselK[1,-y] StruveL[0, y])です。上記の例では、(a)OPの範囲のパフォーマンス、(b)通常の近似のパフォーマンス、つまり、正確なpmf離散解を使用して導出されたどのように機能するかを見ると興味深いでしょう。a=5,b=7
wolfies 14

1
@wolfiesはい、私はその表現も取得しましたの尾部を統合します。正確な分布は極端な裾でそれとは異なるため、その積分の分析をこれ以上行う価値はないと思われました。論理的な次のステップは、テールのより目の肥えた分析です。これは、正規近似を超えることを意味します。K0
whuber

3

コメント:質問でどのようなrvが考慮されるかをよりよく反映するために、タイトルを編集しました。誰でも自由に再編集できます。

動機:分布を導出できるのであれば、上限を決める必要はないと思い。(更新 Whuberのコメントと回答を参照できません)。|Sab|

意味。がおよびと同じ分布であることを確認するのは簡単です。モーメント生成関数はZk=XiYj,k=1,...,abZXY

MZ(t)=E[ezt]=12et+12et=cosh(t)

さらに、は、最初はペアごとに独立しています。変数(指数はもちろん任意です)は、対応する確率をサポートしています。そのモーメント生成関数はZW=Z1+Z2{2,0,2}{1/4,1/2,1/4}

MW(t)=E[e(z1+z2)t]=14e2t+12+14e2t==14(e2t+1)+14(e2t+1)=142etcosh(t)+142etcosh(t)=cosh(t)cosh(t)=MZ1(t)MZ2(t)

次のように、完全な独立性がます(賢明な人には明らかですか?):この部分では、ます。次に、チェーンルール Zij=XiYj

P[Zab,...,Z11]=P[ZabZa,b1,...,Z11]...P[Z13Z12,Z11]P[Z12Z11]P[Z11]

ペアワイズ独立性により、ます。 考え ます。とは依存する独立条件であるため、 ペアワイズ独立による2番目の等式。しかし、これはP[Z12Z11]=P[Z12]
P[Z13,Z12Z11]Z13Z12Z11

P[Z13Z12,Z11]=P[Z13Z11]=P[Z13]

P[Z13Z12,Z11]P[Z12Z11]P[Z11]=P[Z13,Z12,Z11]=P[Z13]P[Z12]P[Z11]

その他(私は思う)。(更新私は間違っていると思います独立性はおそらくすべてのトリプレットには当てはまりますが、束全体には当てはまりません。したがって、以下は単純なランダムウォークの分布の導出であり、質問に対する正しい答えではありません-Wolfiesを参照してください。 Whuberの回答)。

完全な独立性が確かに成立する場合、iidの二分法のrvの合計の分布を導出するタスクがあります

Sab=k=1abZk

これは単純なランダムウォークのように見えますが、シーケンスとしての後者の明確な解釈はありません。

場合のサポート偶数の整数であろう、ゼロを含めている場合の支持体奇数の整数であろう、ゼロなし。 ab=evenS[ab,...,ab]ab=oddS[ab,...,ab]

場合を扱います。 示すの数であるとの値を取る。次に、のサポートはと書くことができます。任意のについて、一意の値を取得します。さらに、対称確率と独立性(または単に交換可能性?)により、変数 z_すべての可能な共同実現は、確率が等しくなります。したがって、カウントすると、確率質量関数は、ab=odd
mZ1SS{ab2m;mZ+{0};mab}mSZ{Z1=z1,...,Zab=zab}S

P(S=ab2m)=(abm)12ab,0mab

定義、および建設によって奇数、との支援の典型的な要素、我々は持っていますsab2mS

P(S=s)=(ababs2)12ab

移動しています 、場合、確率質量をゼロに割り当てずに、の分布がゼロの周りで対称であるため、分布 縦軸の周りに密度グラフを「折りたたむ」ことで得られ、基本的に正の値の確率を2倍にします。|S|ab=oddS|S|

P(|S|=|s|)=(ababs2)12ab1

次に、分布関数は

P(|S||s|)=12ab11is,iodd(ababi2)

したがって、任意の実数、 について、必要な確率 t1t<ab

P(|S|>t)=1P(|S|t)=112ab11it,iodd(ababi2)

表示は、サポートに含まれる値までのみ合計が実行されることを保証することに注意してください-我々が設定された場合、例えば、、まだ最大実行する奇数になるように制約されているので整数の上に、、。i=odd|S|t=10.5i9


負の値の数ある必要がありさえ。したがって、これらの4つの確率変数(私はそれらが4つのであると想定しています-表記は不明です)は独立ではありません。(X1Y1,X1Y2,X2Y1,X2Y2)Z
whuber

@whuberありがとう。問題(私の問題、つまり)は、私が解決した特定の例では、独立性を維持し続けることです。あなたが書いた特定の4つの変数を使用します。
Alecos Papadopoulos 2014

はい、これはトリッキーです。別個のはペアごとに独立しており、(私は)3つの別個のも独立しているためです。(問題に対する独創的な攻撃のため、私はあなたの答えを支持しました。私は独立性の欠如の私の評価が間違っていると思います!)ZZ
whuber

@whuber本当にありがとうwhuber、それは本当に協力的です。の分布の導出を有効にするために必要なのは、すべてのイベントが同確率であるということです。共同の独立が失敗する間、そのような特性が保持することは可能ですか?つまり、同程度の確率を維持するには、ジョイントインディペンデントで十分ですが、それも必要ですか。S{k=1abZk}
Alecos Papadopoulos 2014

ランダム変数の交差を意味するように見える(あなたの表記はどういう意味であれ)理解できません。
whuber

3

回答ではなく、コメントボックスに収まらない長すぎるAlecosの興味深い回答に関するコメント。

してみましょう、独立しRademacherのランダム変数である、としましょう、独立しRademacherのランダム変数です。Alecosは次のように述べています。(X1,...,Xa)(Y1,...,Yb)

Sab=k=1abZkwhereZk=XiYj

「… 単純なランダムウォークのように見える」これが単純なランダムウォークの場合、の分布は0を中心に対称的な「ベル型の単峰性」になります。S

これが単純なランダムウォークではないことを説明するために、以下の簡単なモンテカルロ比較を示します。

  • 三角ドット:および与えられのpmfのモンテカルロシミュレーションSa=5b=7
  • 丸い点:ステップの単純なランダムウォークのモンテカルロシミュレーションn=35

ここに画像の説明を入力してください

明らかに、は単純なランダムウォークではありません。また、Sはすべての偶数(または奇数)整数に分布していないことに注意してください。S

モンテカルロ

以下は、と指定し、合計単一の反復を生成するために使用される(Mathematicaの)コードです。Sab

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

次に、500,000のようなパス、たとえばおよび、次のように生成できます。a=5b=7

 data57 = Table[SumAB[5, 7], {500000}];

このと組み合わせをサポートするドメインは次のとおりです。ab

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}

1
+1シミュレーション(またはそのような具体例)は、詳細な分析のための参照を提供するために長い間必要でした。係数をすることで、シミュレーションをはるかに効率的に(約25倍速く)行うことができます。これは三角形チャートに十分に大きな素数値が表示されない理由をすぐに説明し、が「ランダムウォーク」(スケーリングされた二項)分布を持てないことを強制的に示します。S(ixi)(jyj)S
whuber

1
代わりに、あなたはすぐに(のために正確な答えを得ることができますシミュレートするaと、b両方の1000未満、とにかく)などrademacher[a_] := Transpose[{Range[-a, a, 2], Array[Binomial[a, #] &, a + 1, 0] /2^a}]; s[a_, b_] := {#[[1, 1]], Total[#[[;; , 2]]]} & /@ GatherBy[Flatten[Outer[Times, rademacher[a], rademacher[b], 1], 1], First]; ListLogPlot[s[5, 7]] と言う、とそれを試してみてください、s[100,211]
whuber

@whuber re最初のコメント-あなたの因数分解はすっきりしています!:)私のMacでは、以下を使用しています:......... WHuberSumAB[a_, b_] := Total[RandomChoice[{-1, 1}, a]] * Total[RandomChoice[{-1, 1}, b]]...これは、Outerアプローチの2倍の速さです。あなたが使用しているコードについて知りたいですか?[もちろん、どちらを使用してもParallelTable、などを使用して高速化できます]
wolfies 14

これを試してください:sum[n_, a_, b_] := Block[{w, p}, w[x_] := Array[Binomial[x, #] &, x + 1, 0] /2^x; p[x_] := RandomChoice[w[x] -> Range[-x, x, 2], n]; p[a] p[b]]。次に時間Tally[sum[500000, 5, 7]]Raficianodos、以下は同じことをして、より長いだけで50%を取るのMathematicas <- function(n, a, b) (2 * rbinom(n, a, 1/2) - a)*(2 * rbinom(n, b, 1/2) - b); system.time(x <- table(s(5*10^5, 5, 7))); plot(log(x), col="#00000020")
whuber

@whuber-re comment2-正確なpmf:したがって、があり、Rademacherの各合計は二項式であり、 2つの二項の積。これを答えとして書いてみませんか!?-それはきれいで、きちんとしていて、エレガントで便利です...S=(iXi)(jYj)
wolfies 14
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.