3つの結果を持つ確率変数のチャーノフ型不等式

9

非数値a、b、cを取るランダム変数があり、この変数のサンプルの経験的分布が真の分布からどのように逸脱しているかを定量化したいとします。この場合、次の不等式（Cover＆Thomasによる）が適用されます。 $n$

定理12.4.1（Sanovの定理）：レッツ IIDこと。してみましょう確率分布の集合とします。次いで、 $X_1, X_2, \ldots, X_n$ $\sim Q(x)$
$E \subseteq \mathscr{P}$
$Q^{n} (E) = Q^{n} (E \cap P_{n}) \leq (n + 1)^{| X |} 2^{- n D (P^{*} | | Q)},$ $Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$ $P^{*} = \arg min_{P \in E} D (P | | Q),$ $P^* = \arg\min_{P \in E} D(P||Q),$ $E$ $Q$

この不等式は、が小さいは非常に緩やかです。バイナリの結果の場合、であり、チェルノフとヘッフディングの境界ははるかに厳密です。 $n$ $|\mathcal{X}|=2$

も同様に厳しい制限はありますか？ $|\mathcal{X}|=3$

pr.probability chernoff-bound

— ヤロスラフ・ブラトフ
ソース

| X |を変更できると思います | X | -1の場合、メソッドogタイプの「最後のタイプ」は、残りの部分を知った後で指定されるためです。

— Thomas Ahle 2017

6

場合は1であり、それ以外の場合はゼロである確率変数を考慮することで、かなり良い範囲を得ることができます（が試行に渡り、がカテゴリに渡る場合）。固定、は独立しているため、チャームオフ境界を使用してを分析できます。次に、バインドされた共用体を実行します。 $Y_{ij}$ $X_i = j$ $1 \le i \le n$ $1 \le j \le 3$ $j$ $Y_{ij}$ $\sum_i Y_{ij}$ $j$

上記では不十分な場合は、たとえばUpfalとMitzenmacherの教科書にあるボールとビンのモデルを確認することをお勧めします。そのモデルはあなたのビンと同じですが、いくつかのビンは他のビンよりもボールが着地する可能性が高いかもしれませんよね？そのモデルには、不均一なビンの確率で設定に拡張できる可能性が高い、ポアソン近似を含むいくつかのより洗練された手法があります。

— ウォーレンシュディ
ソース

3

ブール変数に固有のChernoff Hoeffding境界については何もありません。場合は持つIID実数値確率変数であるあなたはチャーノフがバインド適用することができます。適切なリファレンスは、「ランダム化アルゴリズムの分析のための測定の集中」（http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf）です。 $X_1,\ldots,X_n$ $0 \leq X_i \leq 1$

— アーロン・ロス
ソース

私は、実数値の変数ではなく、カテゴリ変数に興味があります。明確化を追加しました

— Yaroslav Bulatov