低確率座標のない高確率イベント

9

ましょ内の値を取る確率変数（いくつかの大規模なアルファベットのための非常に高いエントロピーあり、） -たとえば、任意に小さい定数。ましょうをサポートするイベントであるよう、任意に小さく一定です。 $X$ $\Sigma^n$ $\Sigma$ $H(X) \ge (n- \delta)\cdot\log|\Sigma|$ $\delta$ $E \subseteq \rm{Supp}(X)$ $X$ $\Pr[X \in E] \ge 1 - \varepsilon$ $\varepsilon$

私たちは、ペアがあると言う $(i,\sigma)$ ある低い確率が座標の $E$ 場合 $\Pr[X \in E | X_i = \sigma] \le \varepsilon$ 。私たちは、文字列があると言う $x \in \Sigma^n$ 低い確率での座標が含ま $E$ 場合 $(i, x_i)$ 低い確率の座標である $E$ いくつかのために $i$ 。

一般的には、いくつかの文字列で $E$ 確率の低い座標含まれていてもよい $E$ 。質問は、私たちは常に高い確率事象見つけることができるである $E' \subseteq E$ には、文字列ような $E'$ 低い確率での座標が含まれていない $E'$ （やないの $E$ ）。

ありがとう！

it.information-theory pr.probability

— またはメイア
ソース

4

これはハリー・ユエンの答えを補足する例です。カウンター例えば、適切な定義するために十分で及びショーをその任意の大きなサブセット低い確率の座標有していなければならない -の低い確率座標必ずしも低い確率COでの縦座標。 $X,E$ $E'\subseteq E$ $E$ $E$ $E'$

また、エントロピーに関する条件は無視します独立した一様分布のランダム変数をに追加すると（を）、が増加しそのようなが存在するかどうかに影響を与えずに、ほぼ（私はこれを慎重に行っていません）。 $N$ $X$ $E$ $E\times \Sigma^N$ $H(X)/(n+N)\log|\Sigma|$ $1$ $E'$

これがその例です。LETランダムの要素であるハミング重みを有するすべてのベクターように（すなわち、ベクトル形式の）確率を有するとすべてベクトル確率はです。してみましょうハミング重みを持つベクトルの集合とする。 $X$ $\{0,1\}^n$ $1$ $0\dots 010\dots 0$ $(1-\epsilon)/n$ $1\dots 1$ $\epsilon$ $E$ $1$

サブセット考えます。が空でない場合は、一般性を失うことなく、ハミング重みベクトル、たとえばが含まれます。ただし、であり、が次の場合はより小さい約。 $E'\subseteq E$ $E'$ $1$ $100\dots 0$ $\Pr[X \in E'|X_i=1]=\frac{(1-\epsilon)/n}{(1-\epsilon)/n + \epsilon}$ $\epsilon$ $n$ $2/\epsilon^2$

— コリン・マキヤン
ソース

6

はとどのように比較されますか？場合することができ、そして私たちは、あなたが望むものを達成できると思います。LET。は下で確率質量が与えられることに注意してください。ましょうの文字列に割り当てられ示す確率質量よう座標番目のシンボル有する。 $\epsilon$ $n$ $\epsilon$ $O(1/\sqrt{n})$ $B = \mbox{Supp}(X) - E$ $B$ $\epsilon$ $X$ $\lambda(i,\sigma)\epsilon$ $B$ $i$ $\sigma$

が一部の文字列の低確率座標であると仮定し。がそれらの文字列に割り当てられた確率質量を表すとしましょう。次に、定義により、、その。確率の損失のみを被っている間、これらの低確率の文字列を破棄できます。への質量。 $(i,\sigma)$ $E$ $\delta(i,\sigma)$ $\frac{\delta(i,\sigma)}{\delta(i,\sigma) + \lambda(i,\sigma)\epsilon} \leq \epsilon$ $\delta(i,\sigma) \leq 2\lambda(i,\sigma)\epsilon^2$ $\delta(i,\sigma)$ $E$

考えられるすべての不良についてこれを続け、最終的には最大でのみを破棄しますです。これは、すべてのに対して、あるという事実を利用しています。 $(i,\sigma)$ $\sum_{i,\sigma} \delta(i,\sigma) \leq \sum_{i} \sum_{\sigma} 2\lambda(i,\sigma)\epsilon^2 \leq 2\sum_{i} \epsilon^2 = 2n\epsilon^2$ $i$ $\sum_{\sigma} \lambda(i,\sigma) = 1$

に確率質量を持たせたい場合、は、またはで十分です。 $E'$ $1 -\gamma$ $\epsilon$ $\epsilon + 2n\epsilon^2 \leq \gamma$ $\epsilon = O(\gamma/\sqrt{2n})$

現時点では、このへの依存を取り除くことができるかどうかは不明です。私はそれについて考え続けます。 $n$

— ヘンリー・ユエン
ソース

つまり、ことを-ああ、私はちょうどあなたがより強力な要件を探していることに気づきに対して、任意の低確率座標を持っていません、いない。今日はこれに戻ってきます。

E^{'}

$E'$

E^{'}

$E'$

E

$E$

— Henry Yuen

ありがとう！一定であるが任意に小さくできるイプシロンを探しています。

— またはMeir