確率変数が最大になる確率をどのように制限できますか？

$\newcommand{\P}{\mathbb{P}}$ 有限平均および分散、、を持つ $N$ 独立したランダム変数 $X_1$ 、 $\ldots$ 、 $X_n$ があるとします。が他のすべての、よりも大きい確率の分布のない境界を探しています。 $\mu_1 \leq \ldots \leq \mu_N$ $\sigma_1^2$ $\ldots$ $\sigma_N^2$ $X_i \neq X_N$ $X_j$ $j \neq i$

言い換えると、簡単にするためにの分布 $X_i$ が連続的であると仮定する場合（ $\P(X_i = X_j) = 0$ ）、次の境界を探しています：

P (X_{i} = max_{j} X_{j}) .

$\P( X_i = \max_j X_j ) \enspace.$ 場合、チェビシェフの不等式を使用して以下を取得できます。

私はいくつかの単純な（必ずしもタイト）一般の境界見つけたい

、私は一般用（審美）喜ばせる結果を見つけることができませんでした

。

N = 2

$N=2$

P (X_{1} = max_{j} X_{j}) = P (X_{1} > X_{2}) \leq \frac{σ_{1}^{2} + σ_{2}^{2}}{σ_{1}^{2} + σ_{2}^{2} + (μ_{1} - μ_{2})^{2}} .

$\P(X_1 = \max_j X_j) = \P(X_1 > X_2) \leq \frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2 + \sigma_2^2 + (\mu_1 - \mu_2)^2} \enspace.$

N

$N$

N

$N$

変数はiidであると想定されていないことに注意してください。関連する仕事への提案や参照は大歓迎です。

更新：前提として、思い出してください $\mu_j \geq \mu_i$ 。次に、上記の境界を使用して、以下に到達できます。

P (X_{i} = max_{j} X_{j}) \leq min_{j > 私} \frac{σ_{i}^{2} + σ_{j}^{2}}{σ_{私}^{2} + σ_{j}^{2} + （ μ_{j} - μ_{私} ）^{2}} \leq \frac{σ_{私}^{2} + σ_{N}^{2}}{σ_{私}^{2} + σ_{N}^{2} + （ μ_{N} - μ_{私} ）^{2}} 。

$\P(X_i = \max_j X_j) \leq \min_{j > i} \frac{\sigma_i^2 + \sigma_j^2}{\sigma_i^2 + \sigma_j^2 + (\mu_j - \mu_i)^2} \leq \frac{\sigma_i^2 + \sigma_N^2}{\sigma_i^2 + \sigma_N^2 + (\mu_N - \mu_i)^2} \enspace.$ これが意味する：

（ μ_{N} - μ_{私} ） P （ {バツ}_{私} = \underset{j}{最大} {バツ}_{j} ） \leq （ μ_{N} - μ_{私} ） \frac{σ_{私}^{2} + σ_{N}^{2}}{σ_{私}^{2} + σ_{N}^{2} + （ μ_{N} - μ_{私} ）^{2}} \leq \frac{1}{2} \sqrt{σ_{私}^{2} + σ_{N}^{2}} 。

$( \mu_N - \mu_i ) \P( X_i = \max_j X_j ) \leq (\mu_N - \mu_i) \frac{\sigma_i^2 + \sigma_N^2}{\sigma_i^2 + \sigma_N^2 + (\mu_N - \mu_i)^2} \leq \frac{1}{2} \sqrt{ \sigma_i^2 + \sigma_N^2 } \enspace.$ これは、次のことを意味します：

\sum_{私 = 1}^{N} μ_{私} P （ {バツ}_{私} = \underset{j}{最大} {バツ}_{j} ） \geq μ_{N} - \frac{N}{2} \sqrt{\sum_{私 = 1}^{N - 1} （ σ_{私}^{2} + σ_{N}^{2} ）} 。

$\sum_{i=1}^N \mu_i \P( X_i = \max_j X_j ) \geq \mu_N - \frac{N}{2} \sqrt{ \sum_{i=1}^{N-1} (\sigma_i^2 + \sigma_N^2) } \enspace.$ 私は今、この限界を

に線形に依存しないものに改善できるかどうか疑問に思っています

N

$N$ 。たとえば、次のことを行います：

\sum_{私 = 1}^{N} μ_{私} P （ {バツ}_{私} = \underset{j}{最大} {バツ}_{j} ） \geq μ_{N} - \sqrt{\sum_{私 = 1}^{N} σ_{私}^{2}} ？

$\sum_{i=1}^N \mu_i \P( X_i = \max_j X_j ) \geq \mu_N - \sqrt{ \sum_{i=1}^N \sigma_i^2 } \enspace?$ そうでない場合、反例は何でしょうか？

probability bounds maximum

— MLS
ソース

代わりに小さな上限を与えるインデックスを使用すると、この境界はより厳しくなります。この値は平均と分散の両方に依存することに注意してください。

j

$j$

N

$N$

@MichaelChernick：それが正しいとは思わない。たとえば、に3つの一様分布があるとします。次に、私が間違っていない場合、、。あなたがを書くつもりだったかどうかはわかりませんが、同じ例はそれがまだ無効であることを示しています。

[0, 1]

$[0,1]$

P (X_{1} < max_{j} X_{j}) = 2 / 3

$P( X_1 < \max_j X_j ) = 2/3$

P (X_{1} < X_{2}) = P (X_{1} < X_{3}) = 1 / 2

$P(X_1 < X_2) = P(X_1 < X_3) = 1/2$

P (X_{i} > max_{j} X_{j})

$P( X_i > \max_j X_j )$

— MLS

@Michael：残念ながら、それはまだ真実ではありません。イベントための固定は、独立していません。

A_{j} = {X_{i} > X_{j}}

$A_j = \{X_i > X_j\}$

i

$i$

— 枢機

@cardinal：とりわけ、それは多腕バンディットに関連しています。以前の報酬に基づいてアームを選択した場合、最良のアームを選択した確率はどれくらい大きいか（上記の表記ではであり、サブを選択するために予想される損失を制限できますか-最適な腕？

P (X_{N} = max_{j} X_{j})

$P(X_N = \max_j X_j)$

— MLS

MathOverflowへのクロスポスト：mathoverflow.net/questions/99313

— 枢機

回答:

多変量チェビシェフの不等式を使用できます。

2つの変数の場合

単一の状況対について、2016年11月4日に関するJochenのコメントと同じ状況に到達します $X_1$ $X_2$

1）場合、 $\mu_1 < \mu_2$ $P(X_1>X_2) \leq (\sigma_1^2 + \sigma_2^2)/(\mu_1-\mu_2)^2$

（そして、あなたの派生についても疑問に思う）

式1の導出

新しい変数を使用する $X_1-X_2$
平均がゼロになるように変換する
絶対値を取る
チェビシェフの不等式を適用する

\begin{matrix} P （ {バツ}_{1} > {バツ}_{2} ） & = P （ {バツ}_{1} - {バツ}_{2} > 0 ） \\ = P （ {バツ}_{1} - {バツ}_{2} - （ μ_{1} - μ_{2} ） > - （ μ_{1} - μ_{2} ） ） \\ \leq P （ | {バツ}_{1} - {バツ}_{2} - （ μ_{1} - μ_{2} ） | > μ_{2} - μ_{1} ） \\ \leq \frac{σ_{（ {バツ}_{1} - {バツ}_{2} - （ μ_{1} - μ_{2} ） ）}^{2}}{（ μ_{2} - μ_{1} ）^{2}} = \frac{σ_{{バツ}_{1}}^{2} + σ_{{バツ}_{2}}^{2}}{（ μ_{2} - μ_{1} ）^{2}} \end{matrix}

$\begin{array} \\ P \left( X_1 > X_2 \right) &= P \left( X_1 - X_2 > 0 \right)\\ &= P\left( X_1 - X_2 - (\mu_1 - \mu_2) > - (\mu_1 - \mu_2)\right) \\ &\leq P\left( \vert X_1 - X_2 - (\mu_1 - \mu_2) \vert > \mu_2 - \mu_1\right) \\ &\leq \frac{\sigma_{(X_1-X_2- (\mu_1 - \mu_2))}^2}{(\mu_2 - \mu_1)^2} = \frac{\sigma_{X_1}^2+\sigma_{X_2}^2}{(\mu_2 - \mu_1)^2}\\ \end{array}$

多変量ケース

式（1）の不等式は、ごとに複数の変換変数に適用することにより、多変量のケースに変更できますこれらは相関していることに注意してください）。 $(X_n-X_i)$ $i<n$

この問題（多変量および相関）の解決策は、I。OlkinおよびJW Prattによって説明されています。『数理統計学年報』の「多変量チェビシェフ不等式」、第29巻226-234 http://projecteuclid.org/euclid.aoms/1177706720

定理2.3に注意してください

$P(\vert y_i \vert \geq k_i \sigma_i \text{ for some } i) = P(\vert x_i \vert \geq 1 \text{ for some } i) \leq \frac{(\sqrt{u} + \sqrt{(pt-u)(p-1)})^2}{p^2}$

ここで、は変数の数、、およびです。 $p$ $t=\sum k_i^{-2}$ $u=\sum \rho_{ij}/(k_ik_j)$

定理3.6は、より厳密な境界を提供しますが、計算が容易ではありません。

編集

よりシャープな境界は、多変量Cantelliの不等式を使用して見つけることができます。その不等式は、前に使用したタイプであり、境界を提供したものです。シャープ。 $(\sigma_1^2 + \sigma_2^2)/(\sigma_1^2 + \sigma_2^2 + (\mu_1-\mu_2)^2)$ $(\sigma_1^2 + \sigma_2^2)/(\mu_1-\mu_2)^2$

記事全体を時間をかけて調べたわけではありませんが、とにかくここで解決策を見つけることができます。

AW Marshall and I.Olkin 'A One-sideed Inequality of the Chebyshev Type' Annals of Mathematical Statistics volume 31 pp.488-491 https://projecteuclid.org/euclid.aoms/1177705913

（後のメモ：この不等式は、相関が等しいため、十分な助けにはなりません。しかし、とにかく、最も鋭い境界を見つけるための問題は、より一般的な多変量のCantelli不等式に等しくなります。

— セクストゥス・エンピリカス
ソース

多変量チェビシェフ不等式の明確な説明をお願いできますか？

— whuber

定理全体を提供するソリューションを編集しました。

— セクストゥスエンピリカス

-1

私はあなたを助けるかもしれない定理を見つけ、あなたのニーズに合わせて調整しようとします。あなたが持っていると仮定します：

e バツ p （ t \cdot E （ \underset{1 \leq 私 \leq n}{m a バツ} {バツ}_{私} ） ）

$exp(t \cdot \mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i}))$

次に、Jensenの不等式により（exp（。）は凸関数であるため）、次のようになります。

e バツ p （ t \cdot E （ \underset{1 \leq 私 \leq n}{m a バツ} {バツ}_{私} ） ） \leq E （ e バツ p （ t \cdot \underset{1 \leq 私 \leq n}{m a バツ} {バツ}_{私} ） ） = E （ \underset{1 \leq 私 \leq n}{m a バツ} e バツ p （ t \cdot {バツ}_{私} ） ） \leq \sum_{私 = 1}^{n} E （ e バツ p （ t \cdot {バツ}_{私} ）

$exp(t \cdot \mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i})) \leq \mathbf{E}(exp( t \cdot \underset{1 \leq i \leq n}{max}X_{i})) = \mathbf{E}( \underset{1 \leq i \leq n}{max} \text{ }exp( t \cdot X_{i})) \leq \sum_{i=1}^{n} \mathbf{E} (exp(t \cdot X_{i})$

さて、場合、ランダム変数関数を生成する瞬間は何でもプラグインする必要があります（mgfの定義にすぎないため）。用語を簡略化する）、この用語を取得してログを取得し、tで除算することで、用語。その後、任意の値でtを選択できます（項が小さくなり、境界が厳しくなるように最適です）。 $exp(t \cdot X_{i}$ $X_{i}$ $\mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i})$

次に、n rvを超える最大値の期待値に関するステートメントがあります。これらのrvの最大値がこの期待値から逸脱する確率に関するステートメントを取得するには、マルコフの不等式（rvが非負であると仮定）または特定のrvに適用されるより具体的な別のrvを使用できます。

— ファビアン・ファルク
ソース