独立指数確率変数の合計

独立した指数確率変数の合計で鋭い集中結果を証明できますか、つまりをような独立なランダム変数としましょう。レッツ。我々は、フォームの境界を証明できる。これは、チェルノフ境界の分散形式を使用しているため、真であると信じている場合に直接続きますが、私が読んだ境界は、境界性を必要とするか、変数の境界性にある程度依存しています。誰かが私に上記の証拠を指摘できますか？ $X_1, \ldots X_r$ $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ $Z = \sum X_i$ $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$

pr.probability randomness chernoff-bound

— NAg
ソース

チェルノフの証明に従うだけです。指数ランダム変数の指数モーメントを簡単に制限できます。

— サショニコロフ

私はチェルノフの証明を繰り返してみました。すべてのであるより単純なケースのためにそれを行いました。穏やかな条件下で、探しているような関係を得ることができます。そのような状態は自然に発生しますか、それとも私がそれほど良くない解決策のためですか？

λ_{i} = λ

$\lambda_i = \lambda$

t < n λ

$t < n\lambda$

— NAg

ここで補題2.8を確認してくださいeprint.iacr.org/2010/076.pdf

— Sasho Nikolov

はい、これは理にかなっています。補題でも、が十分に小さいという条件があります。さて、私の解決策は正しいようです。リンクと提案をありがとう。

t

$t$

— NAg

@SureshVenkatできました。NAg、あなたの質問にはいくつかのタイプミスがあると思います。まず、は、正のに対して非常に奇妙なCDFです。もしかして？行った場合、分散は形式になり、チェルノフの境界は完全に正しく見えません。

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

— サショニコロフ2013

回答:

具体的には、rv pdf は $X_i$

p (X_{i} = x) = \frac{1}{2} λ_{i} e^{- λ_{i} | x |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

これはラプラス分布、または二重指数分布です。その分散はです。cdfは $\frac{2}{\lambda_i^2}$

Pr [X_{i} \leq x] = 1 - \frac{1}{2} e^{- λ_{i} x}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$ のための。

x \geq 0

$x \geq 0$

のモーメント生成関数は $X_i$

E e^{u X_{i}} = \frac{1}{1 - u^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ のため。この事実と、チェルノフ境界の証明で標準的な指数モーメント法を使用すると、およびについて、次の不等式が成り立ちます。

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$ 限り。この論文の補題2.8の証明で詳細な導出を見つけることができます。

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— サショ・ニコロフ
ソース

答えてくれてありがとう。しかし、私のアプリケーションでは、必要はありません。しかし、場合、さらに強い集中力が期待されます。証明のの範囲を制限するの近似を使用しない場合、このような結果を得ることができますが、異なる場合、その分析は管理できなくなります。その前面に何か提案はありますか？

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— -NAg

これはいくつかの激しい手振りになりますが、このような大きな値は、少数のが中央値を超える場合に発生する可能性が最も高いと予想されますたくさん。しかし、二重指数変数はガウスより重い尾を持ち、それらの少数はしっかりとそれを集中することはできません

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Sashoニコロフ

私は上記の書いたものを実現しています明らかではない：私はテールにその方法を期待して他のRVのの尾のように見えるなどのテール二重指数RVの小さな数の和であるすべきではありませんサブガウス。

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— サショニコロフ2013

ラプラス分布の場合、ベルヌーイ限界を使用すると、次のように記述できます。

E e^{u \sum_{i} X_{i}} = \prod_{i} \frac{1}{1 - u^{2} / λ_{i}^{2}} \leq \frac{1}{1 - u^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$ ここで。それから、古典的なチェルノフ法は

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

Pr [\sum_{i} X_{i} \geq t σ] \leq \frac{1 + \sqrt{1 + 2 t^{2}}}{2} e^{1 - \sqrt{1 + 2 t^{2}}} \leq {\begin{cases} (e t / \sqrt{2} + 1) e^{- \sqrt{2} t} \\ e^{- t^{2} / 2 + t^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

これらの境界は、および無制限の値を保持することに注意してください。右側の境界は、2つの可能な体制を示しています。値が小さい場合は「標準」濃度を取得し、値が大きい場合はを取得し。これはCDFのCDFでもあります単一のラプラス分布変数。 $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ $\approx e^{-\sqrt{2}t}$

バインドは、次の2つの状況の間を補間することができますが、私はほとんどすべての場合には1が大きいのいずれかにしっかりとなることを疑うまたは小さなキャンプ。 $1-\sqrt{1+2t^2}$ $t$ $t$

指数分布の場合、同じ手法でが得られますここでです。したがって、そのため、少し普通の見た目が得られますが、ではなくを使用することを期待していました。分散の観点から限界を得ることが可能かどうかはわかりません。を勉強することもできますが、簡単に作業できるとは思えません。 $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Pr [(\sum_{i} X_{i}) - μ \geq t μ] \leq (t + 1) e^{- t} \leq e^{- t^{2} / 2 + t^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— トーマス・エール
ソース

詳細を調べる時間はありませんが、分散に依存する指数関数的に分布するランダム変数の限界を得ることができると99.9％確信しています。モーメント生成関数の限界は過度に緩いように見えます。

— ウォーレンシューディ

@Warren Schudy、あなたのアプローチは？

— トーマスエーレ

私が見る2つの明らかなアプローチ：1.en.wikipedia.org/wiki/…にリストされている2番目の境界は、機能するはずです。2.モーメント生成関数のより厳密な境界を見つけます。

— ウォーレンシューディ

@WarrenSchudy Bernsteinの境界はを与えますが、これはに対してのみです。これは、サショーの答えに似ていると思います。

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

— トーマスエール

ガウススタイルの境界がある時点で停止することは避けられません。指数関数的に分布した単一のランダム変数でさえ、最終的にはガウス分布よりもテールが太くなります。

— ウォーレンシューディ