ジェンセンの不等式以外の

場合 $f$ 凸関数であり、次いで、ジェンセンの不等式の状態その $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ 、及び必要な変更を加えたとき $f$ 凹状です。明らかに最悪の場合、凸のに関して上限を設定することはできませんが、場合、この方向に向かう境界があります $\textbf{E}[f(x)]$ $f(\textbf{E}[x])$ $f$ $f$ 凸であるが「あまり凸でない」？凸関数で条件を与えることいくつかの標準的な限界があり $f$ あなたがその結論できるようになること（必要であれば、同様に、おそらく分布） $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ ここで、 $\varphi(f)$ はの曲率/凸度の $f$ ですか？おそらく、リプシッツの状態に似たものでしょうか？

randomness pr.probability randomized-algorithms

— イアン
ソース

トピック外として終了する投票。math.stackexchange.comかもしれませんか？

— アルヤバタ

この質問はオープンのままにしておくべきだと思います。これは、多くの働く理論家が定期的に役に立つと思うような不平等です。

— アーロンロス

これはこれまでに投稿されたほとんどの質問よりも純粋な数学に近いことを知っていますが、このようなことはランダム化されたアルゴリズムの分析で頻繁に出てくるので、私はこれがトピックであると主張します（私が持っているアプリケーションです）マインド）。私は、コンピューターサイエンスで頻繁に使用されている数学は、質問に対する公正なゲームと見なされるべきだと思います。

— イアン

開いたままにしてください。間違いなく話題に

— スレシュヴェンカト

私もオープンに投票します。

— ジェフ

回答:

編集：元のバージョンは絶対値を逃しました。ごめんなさい！！

こんにちはイアン。2つのサンプル不等式の概要を簡単に説明します。1つはリプシッツ限界を使用し、もう1つは2次導関数の限界を使用してから、この問題のいくつかの問題について説明します。私は冗長ですが、1つの導関数を使用するアプローチは（Taylorを介して）より多くの導関数で何が起こるかを説明しているため、2番目の導関数バージョンは非常に優れていることがわかります。

まず、リプシッツに縛られ、標準のジェンセンの不等式を単純に作り直します。同じトリックが適用されます：期待値でテイラー展開を計算します。

具体的には、に対応する測度持たせ、ます。にリプシッツ定数がある場合、テイラーの定理により $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

ここで、（なお、と可能です）。これを使用してJensenの証明を作り直しました（私は偏執的であり、標準的なものがウィキペディアにあることを確認しました）。 $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

さて、仮定。この場合、 $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

など

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

いくつか簡単に触れたいと思います。明らかな場合は申し訳ありません。

One is that, you can't merely say "wlog $\operatorname{E}(X) = 0$ " by shifting the distribution, because you are changing the relationship between $f$ and $\mu$ .

Next is that the bound must depend on the distribution in some way. To see this, imagine that $X \sim \textrm{Gaussian}(0, \sigma^2)$ and $f(x) = x^2$ . Whatever the value of $\sigma$ , you still get $f(\operatorname{E}(X)) = f(0) = 0$ . On the other hand, $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ . Thus, by changing $\sigma$ , you can make the gap between the two quantities arbitrary! Intuitively, more mass is pushed away from the mean, and thus, for any strictly convex function, $\operatorname{E} (f(X))$ will increase.

Lastly, I don't see how to get a multiplicative bound like you suggest. Everything I have used in this post is standard: Taylor's theorem and derivative bounds are bread&butter in statistics bounds, and they automatically give additive, not multiplicative errors.

I will think about it though, and post something. Vague intuition is it will need very strenous conditions on both the function and the distribution, and that the additive bound is actually at the heart of it.

— matus
ソース

Every time i edit, the answer gets bumped. So I'll point out: the second derivative bound is tight for the example I gave.

— matus

I think you're right in that additive bounds are the best possible without much stronger conditions on the function.

— Ian

Dear Ian, I thought about this problem quite a bit more, but the main difficulty in my mind is hinted at by the example I gave, where

f (E (X)) = 0

$f(\textrm E(X))= 0$ , but

E (f (X)) > 0

$\textrm E (f(X)) > 0$ . You can constrain both the function family (bounded, bounded derivatives, integrable) and the distribution (smooth, bounded, bounded momemts), and you still have these examples. It suffices to have a symmetric, nonnegative function equal to zero at the mean of the distribution. That said, everything depends on the constraints in your exact problem. In the general case, I think the additive nature is fundamental.

— matus

@Ian: The proofs of the Chernoff and Azuma-Hoeffding inequalities use arguments reminiscent of this, so you may wish to read those for inspiration. See e.g. Mitzenmacher and Upfal's book on randomization in computing.

— Warren Schudy

For insight, consider a distribution concentrated on two values; say, with equal probabilities of 1/2 that it equal 1 or 3, whence $\textbf{E}[x] = 2$ . Take $N >> 0$ and $\epsilon > 0$ . Consider functions $f$ for which $f(1) = f(3)= N\epsilon$ and $f(\textbf{E}[x]) = f(2) = \epsilon$ . By making $\epsilon$ sufficiently small and connecting $f$ continuously among these three points we can make the curvature of $f$ as small as desired. Then

$\textbf{E}[f(x)] = N\epsilon$ , yet

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ .

This shows $\varphi(f)$ must be arbitrarily large.

— whuber
ソース