確率不等式

無制限のランダム変数の合計の確率不等式を探しています。誰かが私にいくつかの考えを提供できるなら、本当に感謝しています。

私の問題は、実際には2つのiidガウスの乗算である無制限のiid確率変数の合計が特定の値、つまりを超える確率に関する指数の上限を見つけることです。、、とからIIDが生成される。 $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

モーメント生成関数（MGF）を使用してChernoff境界を使用しようとしましたが、派生境界は次のようになります。

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

ここで、 $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ はのMGFです $X$ 。しかし、限界はそれほど厳しくありません。私の問題の主な問題は、ランダム変数が制限されていないことであり、残念ながら、ヘフディング不等式の境界を使用することはできません。

あなたが私にいくつかのきつい指数関数的境界を見つけるのを手伝ってくれれば幸いです。

— ファルザド
ソース

圧縮センシング関連の問題のように聞こえます。R. Vershyninの非漸近ランダム行列理論、特に彼がサブ指数ランダム変数と呼ぶものの限界に関するノートを調べてください。それで始められます。さらにポインタが必要な場合はお知らせください。さらに情報を投稿しようと思います。

— 枢機

math.SEのこのトピックには、少なくとも2つの関連する質問と回答があります（免責事項：私が参加したものを含む）。

— 枢機

製品

w_{i} v_{i}

$w_i v_i$ は、「正規の製品」分布があります。この積の平均はゼロで、分散は

σ^{4}

$\sigma^4$ で、

σ^{2}

$\sigma^2$ は

w_{i}

$w_i$ と

分散です

v_{i}

$v_i$ 。以下のために

N

$N$ 大きめの、あなたはのおおよそのnorality取得するために中心極限定理を使用することができます

X

$X$ 。正規の製品分布のスキューを計算できる場合、Berry-Esseenの定理を適用してCDFの収束速度を制限できると思います。

— みすぼらしいシェフ

@ shabbychef、Berry-Esseenは収束がかなり遅いです。これは、すべての分布関数クラスに対する一様な境界だからです。

F

$F$

— 枢機卿

@DilipSarwate：しばらく前にコメントが表示されてすみません。math.SEでも何度かリンクした次の小さな論文に興味があるかもしれないと思います：TK Phillips and R. Nelson（1995）、モーメントバインドはChernoffのポジティブテールのバインドよりもタイトです確率、アメリカ統計学、第42巻、No。2.、175-178。

— 枢機

回答:

後で指定されるいくつかに対して提案したChernoff境界を使用して、おかげで2番目の不等式が成り立つ任意の。ここで、および取ると、右側はこれは、任意のに対して。 $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

別の手段は、ハンソン・ライトの不等式などの濃度不等式、または関心のあるランダム変数を含む次数2のガウスカオスの濃度不等式を直接適用することです。

モーメント生成機能を使用しないシンプルなアプローチ

取る（そうでなければ、いずれかで割ることによってスケール変更することができる簡単にするために）。 $\sigma=1$ $\sigma^2$

ライトと。上限を求めています。 $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

してみましょう。その場合、および独立性によるは、自由度の分布の独立しています。 $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

標準正規および確率変数の標準境界、ユニオン境界と組み合わせると、にの形式の上限が得られます。 $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— ジュレック
ソース

取得する境界は、順序としてです。一般的な方がずっといいとは思わない。製品変数のウィキペディアのページから、の分布はで、は修正ベッセル関数です。DLMF関数リストの（10.25.3）から、なので、十分に大きいは、サブガウス境界を与えません。 $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
ソース