ヘッフディングの不等式で使用される補題の証明を理解する

ラリー・ワッサーマンのカセリャとバーガーを主要なテキストとして使用する統計学に関する講義ノートを研究しています。私は彼の講義ノートセット2に取り組んでいますが、ヘッフディングの不等式で使用される補題の導出に行き詰まりました（pp.2-3）。以下の注記で証明を再現しています。証明の後で、どこに行き詰まっているのかを指摘します。

補題

仮定する $\mathbb{E}(X) = 0$ とすることを。次いで、。 $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

証明

以来、我々は書くことができる凸状の組合せとして及び、すなわちここで、 $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ 。関数の凸性により、 $y \to e^{ty}$ 我々が持っています

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

両方の期待を取り、事実 $\mathbb{E}(X) = 0$ を使用して

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

ここで、 $u = t(b-a)$ 、 $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ および $\gamma = -a /(b-a)$ 。ことに注意してくださいです。また $g(0) = g^{'}(0) = 0$ のすべてのため。 $g^{''}(u) \le 1/4$ $u > 0$

テイラーの定理により、ある、その結果 $\varepsilon \in (0, u)$ $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

従って。 $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$

私は証明を

が導出方法がわかりません。 $\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ $u, g(u), \gamma$

probability probability-inequalities

— アナンド
ソース

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

@DilipSarwate私の理解では、最大分散は一様確率変数ます。の分散はです。を入手した方法を説明していただけますか？

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

エンドポイントに質量を集中することにより...

— Elvis

@DilipSarwate証明にいくつかのコメントを追加しました。これにより、最悪のケースが最大分散である理由が少しわかりやすくなります。

— Elvis

@DilipSarwate-補題1と演習1をここで参照してください：terrytao.wordpress.com/2010/01/03/…。ジェンセンの不平等とテイラーの拡大に依存するより簡単な派生があるようです。しかし、これの詳細は私には不明です。おそらく誰かがそれを理解できるでしょう。（（9）から（10）および演習1の導出）

— レオ

私はあなたの質問を正しく理解したかわかりません。私は答えようとします：を関数として書いてみてください：this範囲が欲しいので自然です。

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

経験に助けられて、形式で書くことを選択した方がよいことがわかります。次に、はとます。 $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

それはあなたが求めていたものですか？

編集：証明に関するコメント

最初のトリックは注意深く検討する価値があります。が凸関数で、が中央揃えのランダム変数である場合、ここでは定義される離散変数です結果として、は分散が最も高いをサポートする中央変数：サポート幅を固定する場合 $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ 、これは、Dilipがコメントで述べているように未満です。境界は得られ。 $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
次に、問題に移ります。なぜだけに依存して境界を取得できるのですか？直感的には、これはの再スケーリングの問題にすぎませんの場合のがある場合、一般的な範囲を取ることで取得できます。ここで、幅1をサポートする中央揃えの変数のセットを考えてみましょう。自由度はそれほど多くないため、ような境界が存在する必要があります。他のアプローチは、上記の補題によって、より一般的には、これはと $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ ：およびし、変化させる場合、自由度は1つだけです。そして、、、です。我々は、取得あなただけの含む境界を見つける必要があります。 $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
今ではそれが可能であると確信しています。そもそもだとは必ずしも思っていません。重要なのは、すべてをと関数として記述しなければならないということです。最初に、、、およびことに注意してください。次に、これで、特定のケースで ... Iあなたが終えることができると思います。 $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

少し明確にしてほしい。

— エルビス
ソース

それがまさに私が探していたものです。どうもありがとう。

— アナンド

@アナンド私はアドバイスに従うのは難しいことを知っていますが、技術的な詳細に焦点を当てることから始めるのではなく、そのような限界が存在する理由を理解しようとするべきだと思います...そうすれば、証拠がより簡単に見えるはずです。私はあなたに今朝追加された理由をあなたに見せようとしました（あなたはこのような質問で寝る必要があります-少なくとも私は必要です）。ほとんどの教科書にこのような直感が現れないのは恐ろしいことだと思います。技術的な部分を手に入れても、アイデアがなければすべてが魔法のように見えます。これについて詳細に考える機会を与えてくれてありがとう、CrossV！

— Elvis

うわー！編集のために+1。ありがとう。しかし、ようなものを取得することができれば、すばらしいと思いませんか。

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate、2012年

@Elvisアドバイスと直感的な部分を書き留めてくれてありがとう。これを理解するには少し時間を費やす必要があります！

— アナンド2012年

@Elvis直感について理解を深めたいです。よりシャープな境界を取得するには、より高いモーメントが必要です。マルコフは一次モーメントを使用し、チェビシェフは二次モーメントを使用し、ヘッフディングはmgfを使用します。これは正しいです？誰かがこの部分を拡大して明確にすることができればそれは素晴らしいでしょう。

— Anand